各家代理ip的优缺点都是什么?

代理IP问题,谢邀。

各家代理ip的优缺点都是什么?

背景:国内某企业爬虫工程师一枚,每天都在和爬虫相爱相杀,本回答只介绍自己用过的代理IP提供商,我的关键词:需求高并发、支持多终端、可用IP数量。

写在前面的科普知识:很多人把IP可用率作为购买第一参考因素,其实市面上的的IP资源基本都是租用代理拨号服务器,IP可用率普遍都能达到90%以上,因此谁家的IP可用率都差不多(老铁们,我说的可不是免费的万人骑IP)。而我们真正该关心的应该是业务成功率,比如:

不同的两家代理IP提供商,都使用一万个IP,第一家抓取了5000条数据,第二家抓取了1000条数据。为什么会这样呢?

得出结论:IP可用率≠业务成功率

因为第二家用户太多了,导致业务冲突。比如我抓取微博的数据,第二家有10个抓取微博的用户,那我还怎么能抓取到,都被风控给拦截了。而第一家没有抓取微博的用户,抓取的成功率是不一样的。

言归正传,下面老司机要推荐了哈!抓紧!

代理云 http://www.dailiyun.com

为什么把代理云排在首位?独享IP池搭建及共享IP池租用,回到我最初关键词:需求高并发、支持多终端、可用IP数量。这些是我的需求,代理云很好的满足了。

他家可以薅羊毛,注册后领取1万IP。URL不贴了,网站注册就行,低调低调。

接入后简直能飞起来 https://www.zhihu.com/video/1246560999014547456

为了抓取效率,我都是60个终端一起跑,每天大约需求8万+IP,以后终端数量还会增加。代理云每天可使用不重复IP百万+,一次可提取1000个IP,不限制提取时间间隔,市面上一次提取几个几十个IP的那种,一天累死我也抓不出来多少数据。一秒5个并发和一秒1000个并发的效率,那差距非常大。代理云不限制使用终端,支持账号密码验证,没有额外费用,填一段代码就直接解决了我多终端的问题。且上文说到业务成功率,除了独享IP就是代理云的IP池模式了,天生物理隔绝业务冲突,解决了业务冲突导致抓取低的问题。

芝麻代理 http://www.zhimaruanjian.com

芝麻代理这两年发展的声势很大,自然也少不了亲自测评一下。效果还不错,他家的代理IP数量在市面上算多的,起码客服回复“需要多少就有多少”,着实惊到我了,确实量级很大。但是单次只能提取200个IP,并且是IP白名单绑定验证,多个白名单要多收费。。。如果你需求IP数量大,可以试试他家,企业背景和实力都不错,但是多终端一起跑的,要提前做好心理准备。

他家经常有优惠活动,购买前可以多问问客服哟。

图片来自于芝麻代理官网

价格套餐多种多样,可以多问问客服。

代理蚂蚁 http://www.proxyant.com

如果需求量小,可以尝试下这个,你绝对没体验过的API版本,使用前先下载客户端选择API版,使用中必须运行客户端,听起来好麻烦的有没有。But,用起来简单到飞起,0代码就可以接入API,无需做IP白名单等繁琐的操作,API调用代理IP直接使用。

IP有效时间可选择1~35分钟,比较灵活。API单次最多可提取30个代理IP,API调用频率5S。

价格低到惊艳,如果你的需求量不大,推荐选择这家,总体除了并发量可以满足我的需求。

确实很便宜。。。

截图来自于官网

讯代理 http://www.xdaili.cn

讯代理自上线运行以来进行过一些优化,他家套餐划分清晰,收费也较合理,优质代理9元包天,混拨代理29元包天,独享代理9元包天。对于小爬虫来说,讯代理是一个不错的选择。但是单次提取代理数最多30个,每隔10秒钟提取一次,一天下来累计不重复IP大概4万+。相信我,如果你需求量较大,这个获取频率绝对是噩梦。

插播一下,对于“购买代理”页面,镂空字体值得吐槽,真的没人觉得会眼花吗?

图片来自于讯代理官网

爬虫代理 http://www.pcdaili.com

我尝试过很多号称百万量级的IP资源,其实也就。。。不多说大家都懂。但是爬虫代理家真的是有百万量级,1000元一天,一天可满足10万IP。他家还有一个最大的优势,反向代理,这种代理IP真人度较高,更适合做一些效果补量的业务,比如注册、投票等。

不过不知道为什么,最近爬虫代理的官网突然打不开了,让人心里多少有点没谱。

以上三家适合高并发且抓取数量大的用户。如果每天使用量小,抓取量少的话,可以看看以下几家。

总结:

高并发+高效率+业务成功率=代理云

需求IP数量多+套餐灵活=芝麻代理、爬虫代理

套餐灵活+小爬虫福音=代理蚂蚁、讯代理

最后!!!!!

开发者可私聊微信发我,我拉大家进群交流(拒广告)。