正文

Python爬虫代理设置详解（实战步骤与避坑指南）

天启代理
天启代理 V管理员 /24 阅读
0324

实战第一步：Python爬虫为什么要用代理IP？

很多新手在写爬虫时都遇到过这种情况：代码明明没问题，但运行半小时就报错停止。这十有八九是目标网站的反爬机制启动了。代理IP就像给爬虫戴了无数个面具，每次请求换个IP地址，让服务器以为是不同用户在访问。

Python爬虫代理设置详解（实战步骤与避坑指南）

我去年做电商价格监控时，用真实IP抓取不到2小时就被封。后来接入了天启代理的动态IP池，连续运行3天都没触发反爬。特别是他们全国200+城市节点的覆盖，能模拟出真实用户的地域分布特征。

手把手配置：Requests库代理设置

用Python的requests库设置代理最简单，但细节处理不好照样会被识别。正确的做法是：


import requests

proxies = {
    "http": "http://用户名:密码@proxy.tianqidaili.com:端口",
    "https": "http://用户名:密码@proxy.tianqidaili.com:端口"
}

response = requests.get('目标网址', proxies=proxies, timeout=15)

注意这三个易错点：
1. 协议头http/https要写全，天启代理支持HTTP/HTTPS/SOCKS5三种协议
2. 密码中有特殊符号时要用urllib.parse.quote转义
3. 一定要设置timeout参数，建议10-30秒

Selenium自动化中的代理配置技巧

用浏览器自动化工具时，推荐使用天启代理的SOCKS5协议，比HTTP代理更难被检测。Chrome浏览器的配置示例：


from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=socks5://proxy.tianqidaili.com:端口')

driver = webdriver.Chrome(options=chrome_options)
driver.get("目标网址")

如果遇到证书错误，在启动参数添加--ignore-certificate-errors即可。实测天启代理的自建机房纯净IP通过率更高，基本不会出现证书报错。

避坑指南：代理失效的4种表现

当出现以下情况时，说明当前代理IP可能失效了：

现象解决方案
ConnectionError检查IP格式是否正确
响应时间超过30秒切换高响应速度的IP池
返回状态码407重新生成认证信息
收到验证码页面降低请求频率+更换IP

天启代理的IP可用率≥99％，遇到问题可优先检查自己的代码实现。他们的技术支持团队曾帮我定位过一个奇葩问题——原来是本地DNS缓存导致的连接失败。

实战QA：新手常见问题解答

Q：代理IP速度慢怎么办？
A：优先选用天启代理的响应延迟≤10毫秒的线路，避免同时使用超过10个并发请求

Q：每次都要手动换IP吗？
A：可用API动态获取IP。天启代理的接口请求时间＜1秒，建议设置自动切换机制：


import random

def get_proxy():
    ip_list = requests.get("天启代理API地址").json()
    return random.choice(ip_list)

Q：免费代理和付费代理区别在哪？
A：实测免费代理平均存活时间不到5分钟，而天启代理的IP存活周期可达6-24小时，长期使用反而更划算。

-- 展开阅读全文 --