기본 설정
- ip:port:user:pass 문자열을 URL 형식으로 변환합니다: proxy_url = "http://user:pass@IP:PORT".
- 두 키를 모두 선언합니다: proxies = {"http": proxy_url, "https": proxy_url}. ONET 프록시는 HTTP 프록시이므로 "https" 키도 http://로 시작하는 URL을 가리켜야 합니다. requests는 HTTPS 사이트에 대해 자동으로 CONNECT 방식을 사용합니다.
- 요청을 전송합니다: r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text). 결과로 프록시 IP가 출력되어야 합니다.
- "https": "https://IP:PORT"로 작성하지 마세요. ONET 프록시는 자체 TLS 연결을 지원하지 않으므로 SSL 오류를 반환하거나 연결을 종료합니다.
requests에서 비밀번호에 특수 문자가 포함된 프록시를 사용하려면 어떻게 해야 하나요?
URL을 구성하기 전에 사용자 이름과 비밀번호를 URL 인코딩하세요: from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}". 이 단계를 거치지 않으면 비밀번호의 @ 또는 : 문자로 인해 requests가 프록시 주소를 잘못 파싱하게 됩니다.
Session 및 재시도 활용
- s = requests.Session(); s.proxies.update(proxies)를 생성합니다. s를 통해 전송되는 모든 요청은 프록시를 공유하고 연결을 유지하므로 requests.get을 반복 호출하는 것보다 빠릅니다.
- 일시적인 오류 발생 시 자동으로 재시도하도록 Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503])를 설정한 HTTPAdapter를 마운트합니다.
- 항상 타임아웃을 설정하세요. 타임아웃이 없으면 응답 없는 연결로 인해 프로그램이 무한정 멈출 수 있습니다.
- requests는 s.trust_env = False로 설정하지 않는 한 HTTPS_PROXY 환경 변수도 함께 읽어옵니다.
httpx 사용 시
httpx 0.26부터는 proxy 매개변수를 사용하여 프록시를 전달합니다: httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30). 이전 버전에서는 proxies={"all://": url}을 사용합니다. 비동기 동시 요청이 필요한 경우 httpx는 비동기(httpx.AsyncClient)도 지원합니다.
Python requests에서 자주 발생하는 프록시 오류는 무엇인가요?
흔히 발생하는 세 가지 오류는 사용자 이름 또는 비밀번호 오류로 인한 407, 프록시 연결 실패로 인한 타임아웃, 대상 웹사이트의 요청 속도 제한으로 인한 429입니다.
ProxyError … 407 Proxy Authentication Required
사용자 이름 또는 비밀번호가 올바르지 않거나, 특수 문자가 인코딩되지 않았습니다.
ConnectTimeout 또는 ProxyError … timed out
프록시에 연결할 수 없습니다: IP 또는 포트가 잘못되었거나 네트워크 차단이 원인일 수 있습니다. curl을 사용하여 확인하세요.
대상 사이트의 HTTP 429
대상 사이트에서 요청 속도를 제한했습니다. IP당 요청 수를 줄이거나 딜레이를 추가하거나 여러 프록시로 부하를 분산하세요.
프록시가 없으신가요? 자동 활성화 전용 프록시 구매하기
9개국 전용 IPv4 프록시 2.000 IP 이상 구매 시 월 20.000₫/IP부터 (1 IP 39.000₫), 베트남 및 미국 고정 ISP 프록시 제공. 사용자 이름과 비밀번호 인증 HTTP(S) 및 SOCKS5, 무제한 대역폭, 결제 후 자동 프로비저닝. 베트남 프록시는 현재 SOCKS5 없이 HTTP(S)만 지원합니다.
프록시 지금 구매하기