基本設定
- ip:port:user:passの文字列をURL形式に変換します: proxy_url = "http://user:pass@IP:PORT"。
- 両方のキーを定義します: proxies = {"http": proxy_url, "https": proxy_url}。ONETプロキシはHTTPプロキシであるため、"https"キーもhttp://で始まるURLを指定します。HTTPSサイトへのアクセス時はrequestsが自動的にCONNECTを使用します。
- リクエストを送信します: r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text)。プロキシのIPアドレスが出力されれば成功です。
- "https": "https://IP:PORT"とは記述しないでください。ONETプロキシ自体はTLS接続を受け付けないため、SSLエラーが発生するか接続が切断されます。
requestsでパスワードに特殊文字が含まれるプロキシを使用するにはどうすればよいですか?
URLを構築する前に、ユーザー名とパスワードをURLエンコードします: from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}"。この処理を行わないと、パスワード内の@や:などの文字により、requestsがプロキシアドレスを誤って解析してしまいます。
Sessionの活用とリトライ処理
- s = requests.Session(); s.proxies.update(proxies) を作成します。s経由のすべてのリクエストでプロキシが共有され接続が維持されるため、requests.getを繰り返し呼び出すよりも高速に動作します。
- 一時的なエラー発生時に自動リトライを行うため、Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503]) を設定したHTTPAdapterをマウントします。
- 必ずタイムアウトを設定してください。タイムアウトを設定しないと、接続がハングした際にプログラムが無期限に応答を停止する可能性があります。
- s.trust_env = False を設定しない限り、requestsはHTTPS_PROXY環境変数も読み込みます。
httpxでの利用
httpx 0.26以降では、proxyパラメータを使用してプロキシを渡します: httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30)。古いバージョンでは proxies={"all://": url} を使用します。並行リクエストを実行する必要がある場合、httpxは非同期処理(httpx.AsyncClient)にも対応しています。
Pythonのrequestsでよく発生するプロキシエラーにはどのようなものがありますか?
代表的なエラーには、ユーザー名やパスワードの誤りによる407、プロキシへの接続失敗によるタイムアウト、対象サイトのレート制限による429の三つがあります。
ProxyError … 407 Proxy Authentication Required
ユーザー名またはパスワードが正しくないか、特殊文字がエンコードされていません。
ConnectTimeout または ProxyError … timed out
プロキシにアクセスできません: IPやポートの誤り、またはネットワークの遮断が原因です。curlを使用して確認してください。
送信先サイトからのHTTP 429
送信先サイトによりレート制限されています。IPあたりのリクエスト頻度を下げるか、ディレイを追加するか、複数のプロキシに負荷を分散してください。
プロキシをお持ちでないですか?自動有効化対応の専用プロキシを購入
9か国の専用IPv4プロキシを、2.000 IP以上のご購入で月額20.000₫/IPから(1 IPの場合は39.000₫)、さらにベトナムおよびUSの静的ISPプロキシもご用意。ユーザー名・パスワード認証のHTTP(S)およびSOCKS5に対応し、帯域幅無制限、決済完了後に自動発行されます。現在ベトナムプロキシはHTTP(S)のみ対応しており、SOCKS5には非対応です。
今すぐプロキシを購入