使用高匿名IP一定不会被限制吗?
服务器端从客户端发送请求的相关行为来识别是否使用了代理IP,识别的办法一般是分析访问请求行为是否反人类:访问频率超快,访问非常规律等。那么使用了高匿名IP代理还会被识别吗?
服务器端从客户端发送请求中的相关字段来识别是否使用代理IP,识别的办法就是抓数据包里的相关字段:REMOTE_ADDR,HTTP_VIA以及HTTP_X_FORWARDED_FOR三个字段。
使用高匿名代理IP发送请求时这3个字段的值,和没有使用代理IP发送请求时的值是一样的。所以服务器端无法从这3个字段来分辨是否使用代理IP,这也就是高匿名代理IP不被识别的原因。
但是,即使使用了高匿代理,也不能保证100%不被限制。因为爬虫工作量是非常巨大的,请求量会非常庞大,甚至一秒几十个几百个请求,远超正常人访问网页的速度。反爬策略就会作出判断,该用户为非正常用户,对IP作出限制处理。这种情况并不是识别了客户端使用了代理IP,因为就算不使用高匿代理IP,是自己的真实IP在请求,这样的行为也一样会被限制。
高匿名代理IP不会被识别,但同时我们的请求行为应该尽量模拟正常用户行为,尽量不触发反爬策略,这样就不会被限制。
提供的代理IP资源遍布全球220+国家与地区,每日高达9000万真实住宅IP资源,高速、高可用率,稳定配合爬虫工作。