为什么使用代理访问网站失败,问题出在哪里

许多人使用到代理IP来辅助做一些事,自己编写代码程序,通过对接API自动调用来获取IP,可以借助第三方软件,来进行常见的爬虫工作、营销发帖、网络投票、效果补量等。

使用代理IP会遇到一些问题,比如软件不工作,提示代理IP全部为失效,代码运行返回结果为空等等,有些朋友比较心急,一旦使用不了就认定是这家代理IP有问题,于是换一家继续使用,结果依然如此,遇到这种问题,不能心急,要找出问题根源在哪里。

根源一,API提取链接是否正常,能否正常将代理IP提取出来,很多软件第一步设置不对,IP根本提取不出来,或者API返回格式不符合要求,也有很多朋友的代码处理IP的分隔符不对,曾经有几个朋友,每次使用代理IP都是第一条能成功,后面的全部使用失败,经过反复排查才发现,分隔符处理不正确。


那么怎么判断是不是API提取链接的问题呢?其实很简单,将API提取链接复制到浏览器栏回车打开,即可看到结果:

1、打不开网页,API出问题了;

2、正常返回IP,检查格式是否满足要求;

3、其他原因不正常返回,如缺失参数,或提取过快等等。

根源二、代理IP授权是否正确,现在很多付费代理IP都需要授权才能使用,这样更加安全。

目前比较主流的授权方式有三种:1、IP白名单;2、用户名+密码;3、1和2都支持,可自助切换。在API能提取出IP使用代理失败的情况下,需要检查下授权,比如IP白名单授权模式下是否绑定了固定的使用代理的终端IP;用户名+密码授权下,是否正确的授权了;两种授权模式都支持的情况下,是否将授权搞混了。

那么怎么判断是否授权错误呢?其实也很简单:

1、登录代理IP网站管理后台直接检查;

2、浏览器设置代理IP测试,没有绑定固定终端IP的IP白名单授权模式或者用户名+密码授权模式,在浏览器设置代理IP后会弹出用户名+密码对话框,要求输入用户名和密码;

3、代码运行结果一般会返回407 错误。

根源三、反反爬虫策略是否正确,这个问题碰到的比较多。明明一切都设置好了,代码也都正确,可就是访问不成功,或者成功率很低,有的是之前访问是成功的,突然某一天后访问全都失败或者失败率非常高。很多朋友的第一反应就是代理IP质量不行了,下降了,赶紧换一家代理IP服务商吧。


是否真的代理IP出问题了呢?其实可以这么检查,通过浏览器设置代理IP来访问目标网站,如果浏览器访问成功,而软件或者程序代码运行不成功,那么很有可能是反爬虫策略的问题,可能升级了,这时,反反爬虫策略也要跟着升级。