分享几个可供验证代理IP有效性的API接口
很多朋友都会在本地搭建IP池,有的是从网站上爬取免费代理IP,有的是购买付费API,从代理IP服务商那边获取代理IP,然后放入本地IP池,构建本地IP池API,这样就可以随心所欲的调用本地API获取IP进行使用了。
在本地IP池的运作中,有一个非常重要的行为,那就是验证IP的有效性,这个行为基本贯穿了代理IP池整个运作过程中:
1、获取代理IP的时候进行验证,将有效的IP放入本地IP池;
2、在本地池中,定期进行验证,不断的剔除无效IP,保留有效的IP;
3、在取出本地IP池里的IP进行使用前,进行验证,将有效的提取出来使用,无效的剔除。
由此可见,验证代理IP的有效性是至关重要的,这个关键点没处理好,将会影响到整个IP池的运作。
那么,怎么验证代理IP的有效性呢?一般我们是访问一个很简单的查询IP网址或者API接口进行验证,如果代理IP是有效的,将会返回代理IP,如果是无效的将访问不了验证网址或者返回本机IP。因此,验证代理IP的查询IP网址或者API接口很重要,这将直接影响验证结果的走向。之前有一个朋友用的ip138作为验证网址,用了一段时间发现,有效的IP越来越少,以为是代理IP的质量越来越差,结果发现是ip138网站的问题,换一个验证网址,结果就截然不同了。
由此可见,验证网址的选择很重要,一定要慎重,要选择简单的验证网址或API,不能本身复杂庞大,那样超时的可能性很大,同时也要考虑到反爬策略,反复的验证访问也很有可能触发反爬策略导致IP被封。
有很多朋友说,上哪去找一个好用的验证网址呢?这边搜集了几个比较好的接口,可以试试看效果如何,当然肯定还有朋友收藏了更好的。
1、http://ip-api.com/json/?lang=zh-CN
2、搜狐IP地址查询接口(默认GBK):http://pv.sohu.com/cityjson
3、搜狐IP地址查询接口(可设置编码):http://pv.sohu.com/cityjson?i...
4、搜狐另外的IP地址查询接口:http://txt.go.sohu.com/ip/soip
以上就是搜集的一些比较好的,还有一些失效了的就不发了,我们也要经常检查自己的验证网址是否已经失效或者受限,这样才能避免错误的结果。