基础配置
- 将 ip:port:user:pass 字符串格式化为 URL:proxy_url = "http://user:pass@IP:PORT"。
- 同时声明两个键:proxies = {"http": proxy_url, "https": proxy_url}。由于 ONET 代理是 HTTP 代理,"https" 键仍指向以 http:// 开头的 URL;对于 HTTPS 网站,requests 会自动使用 CONNECT。
- 发送请求:r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text)。返回结果应为代理 IP。
- 切勿写成 "https": "https://IP:PORT"。ONET 代理本身不接受 TLS 连接,否则会返回 SSL 错误或直接关闭连接。
在 requests 中如何使用密码包含特殊字符的代理?
在拼接前对用户名和密码进行 URL 编码:from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}"。若不执行此步骤,密码中的 @ 或 : 等字符会导致 requests 错误解析代理地址。
使用 Session 与重试机制
- 创建 s = requests.Session(); s.proxies.update(proxies)。通过 s 发送的所有请求都将共享该代理并复用连接,速度远快于重复调用 requests.get。
- 挂载带有 Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503]) 的 HTTPAdapter,以便在出现临时错误时自动重试。
- 务必设置超时时间。若未设置超时,挂起的连接可能会导致程序无限期卡死。
- requests 也会读取 HTTPS_PROXY 环境变量,除非将 s.trust_env 设置为 False。
在 httpx 中使用
从 httpx 0.26 起,使用 proxy 参数传入代理:httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30)。较旧版本使用 proxies={"all://": url}。如果需要并发请求,httpx 还支持异步(httpx.AsyncClient)。
Python requests 常遇到哪些代理错误?
三种常见错误是因账号密码错误导致的 407、因无法连接代理引起的超时,以及目标网站限流返回的 429。
ProxyError … 407 Proxy Authentication Required
用户名或密码错误,或者特殊字符未进行编码。
ConnectTimeout 或 ProxyError … timed out
无法连接代理:IP、端口错误或网络受阻。请使用 curl 验证。
目标网站返回 HTTP 429
受到目标网站的速率限制。请减少每个 IP 的请求频率、增加延迟或将负载分摊到多个代理上。
还没有代理?购买独享代理,支持自动开通
覆盖 9 个国家的独享 IPv4 代理,购买 2.000 个 IP 以上低至 20.000₫/IP/月(单购 1 个 IP 为 39.000₫),另提供越南与美国静态 ISP 代理。支持账密认证的 HTTP(S) 与 SOCKS5,不限流量,付款后自动开通。越南代理目前仅支持 HTTP(S),不支持 SOCKS5。
立即购买代理