Osnovna konfiguracija
- Oblikujte niz ip:port:user:pass v URL: proxy_url = "http://user:pass@IP:PORT".
- Navedite oba ključa: proxies = {"http": proxy_url, "https": proxy_url}. Ključ "https" še vedno kaže na URL, ki se začne z http://, ker so proxyji ONET proxyji HTTP; requests samodejno uporabi CONNECT za spletna mesta HTTPS.
- Pošljite zahtevo: r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text). Rezultat bi moral biti IP proxyja.
- Ne zapišite "https": "https://IP:PORT". Proxyji ONET ne sprejemajo povezav TLS nase in bodo vrnili napako SSL ali prekinili povezavo.
Kako v knjižnici requests uporabiti proxyje s posebnimi znaki v geslu?
Pred sestavljanjem uporabniško ime in geslo kodirajte z URL-kodiranjem: from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}". Brez tega koraka bodo znaki @ ali : v geslu povzročili, da bo requests napačno razčlenil naslov proxyja.
Uporaba Session in ponovnih poskusov
- Ustvarite s = requests.Session(); s.proxies.update(proxies). Vse zahteve, poslane prek s, si delijo proxy in ohranjajo povezave, kar je hitrejše od večkratnega klicanja requests.get.
- Pripnite HTTPAdapter z Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503]) za samodejno ponavljanje ob prehodnih napakah.
- Vedno nastavite časovno omejitev. Brez časovne omejitve lahko viseča povezava za nedoločen čas zaustavi vaš program.
- requests bere tudi okoljsko spremenljivko HTTPS_PROXY, razen če nastavite s.trust_env = False.
Z httpx
Od različice httpx 0.26 naprej posredujte proxy s parametrom proxy: httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30). Starejše različice uporabljajo proxies={"all://": url}. httpx podpira asinhrono delovanje (httpx.AsyncClient), če morate izvajati sočasne zahteve.
Katere napake pri proxyjih se najpogosteje pojavljajo v Python requests?
Tri pogoste napake so 407 zaradi napačnega uporabniškega imena ali gesla, časovne omejitve zaradi nedosegljivosti proxyja in 429 zaradi omejitev števila zahtev na ciljnem spletnem mestu.
ProxyError … 407 Proxy Authentication Required
Napačno uporabniško ime ali geslo oziroma posebni znaki niso bili kodirani.
ConnectTimeout ali ProxyError … timed out
Proxyja ni mogoče doseči: napačen IP, vrata ali omrežna blokada. Preverite s curl.
HTTP 429 s ciljnega spletnega mesta
Ciljno spletno mesto je omejilo število zahtev. Zmanjšajte število zahtev na IP, dodajte zakasnitve ali porazdelite obremenitev med več proxyjev.
Še nimate proxyja? Kupite namenske proxyje s samodejno aktivacijo
Namenski proxyji IPv4 v 9 državah od 20.000₫/IP/mesec ob nakupu 2.000 IP-jev ali več (39.000₫ za 1 IP) ter statični ISP proxyji v Vietnamu in ZDA. HTTP(S) in SOCKS5 z uporabniškim imenom in geslom, neomejena pasovna širina, samodejna aktivacija po plačilu. Vietnamski proxyji trenutno podpirajo samo HTTP(S), brez SOCKS5.
Kupite proxyje zdaj