Базавая канфігурацыя
- Сфарматуйце радок ip:port:user:pass у URL: proxy_url = "http://user:pass@IP:PORT".
- Абвясціце абодва ключы: proxies = {"http": proxy_url, "https": proxy_url}. Ключ "https" усё адно спасылаецца на URL, які пачынаецца з http://, бо проксі ONET з'яўляюцца HTTP-проксі; requests аўтаматычна выкарыстоўвае CONNECT для сайтаў з HTTPS.
- Адпраўце запыт: r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text). У выніку павінен быць IP-адрас проксі.
- Не пішыце "https": "https://IP:PORT". Проксі ONET не прымаюць TLS-злучэнні да сябе і вернуць памылку SSL або закрыюць злучэнне.
Як выкарыстоўваць проксі са спецсімваламі ў паролі ў requests?
Закадуйце лагін і пароль у URL перад зборкай: from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}". Без гэтага сімвалы @ або : у паролі прывядуць да таго, што requests няправільна разбярэ адрас проксі.
Выкарыстанне Session і паўторы запытаў
- Стварыце s = requests.Session(); s.proxies.update(proxies). Усе запыты праз s выкарыстоўваюць адзін і той жа проксі і захоўваюць злучэнні, што хутчэй за паўторныя выклікі requests.get.
- Падключыце HTTPAdapter з Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503]), каб аўтаматычна паўтараць запыты пры часовых памылках.
- Заўсёды задавайце таймаўт. Без таймаўту завіслае злучэнне можа бясконца блакіраваць працу праграмы.
- Пераменная асяроддзя HTTPS_PROXY таксама счытваецца requests, калі вы не ўсталюеце s.trust_env = False.
З httpx
Пачынаючы з httpx 0.26, перадавайце проксі праз параметр proxy: httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30). У больш старых версіях выкарыстоўваецца proxies={"all://": url}. httpx падтрымлівае асінхроннасць (httpx.AsyncClient), калі вам трэба выконваць паралельныя запыты.
З якімі памылкамі проксі часцей за ўсё сутыкаецца Python requests?
Тры тыповыя памылкі: 407 з-за няправільнага лагіна ці пароля, таймаўты з-за няздольнасці злучыцца з проксі і 429 з-за лімітаў запытаў на мэтавым сайце.
ProxyError … 407 Proxy Authentication Required
Няправільны лагін ці пароль, альбо спецсімвалы не былі закадзіраваны.
ConnectTimeout або ProxyError … timed out
Немагчыма злучыцца з проксі: няправільны IP, порт або блакіроўка сеткі. Праверце з дапамогай curl.
HTTP 429 ад мэтавага сайта
Абмежаванне частаты запытаў (rate limit) ад мэтавага сайта. Паменшыце колькасць запытаў на адзін IP, дадайце затрымкі або размяркуйце нагрузку паміж некалькімі проксі.
Няма проксі? Купляйце выдзеленыя проксі з аўтаматычнай актывацыяй
Выдзеленыя IPv4-проксі ў 9 краінах ад 20.000₫/IP/месяц пры куплі ад 2.000 IP (39.000₫ за 1 IP), а таксама статычныя ISP-проксі В'етнама і ЗША. HTTP(S) і SOCKS5 з лагінам і паролем, неабмежаваны трафік, аўтаматычная выдача пасля аплаты. Проксі В'етнама пакуль падтрымліваюць толькі HTTP(S), без SOCKS5.
Купіць проксі зараз