Põhiseadistus
- Vorminda string ip:port:user:pass URL-iks: proxy_url = "http://user:pass@IP:PORT".
- Deklareeri mõlemad võtmed: proxies = {"http": proxy_url, "https": proxy_url}. Võti "https" viitab endiselt prefiksiga http:// algavale URL-ile, sest ONETi proxyd on HTTP-proxyd; requests kasutab HTTPS-saitide puhul automaatselt CONNECT-meetodit.
- Saada päring: r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text). Tulemuseks peaks olema proxy IP.
- Ära kirjuta "https": "https://IP:PORT". ONETi proxyd ei võta vastu TLS-ühendusi otse endale ning tagastavad SSL-vea või sulgevad ühenduse.
Kuidas kasutada teegis requests proxiesid, mille paroolis on erimärgid?
URL-kodeeri kasutajanimi ja parool enne kokkupanekut: from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}". Ilma selleta põhjustavad märgid @ või : paroolis vea, mistõttu parsib requests proxy aadressi valesti.
Sessioni ja korduskatsete kasutamine
- Loo s = requests.Session(); s.proxies.update(proxies). Kõik läbi s tehtud päringud jagavad proxyt ja säilitavad ühendusi, mis on kiirem kui korduv requests.get väljakutsumine.
- Ühenda HTTPAdapter konfiguratsiooniga Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503]), et ajutiste vigade korral automaatselt uuesti proovida.
- Määra alati ajalõpp. Ilma ajalõputa võib rippuma jäänud ühendus sinu programmi määramata ajaks blokeerida.
- Keskkonnamuutujat HTTPS_PROXY loeb samuti requests, välja arvatud juhul, kui määrad s.trust_env = False.
Teegiga httpx
Alates versioonist httpx 0.26 edasta proxy parameetriga proxy: httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30). Vanemad versioonid kasutavad parameetrit proxies={"all://": url}. httpx toetab asünkroonsust (httpx.AsyncClient), kui sul on vaja paralleelseid päringuid käitada.
Milliste proxyvigadega Python requests tavaliselt kokku puutub?
Kolm levinumat viga on 407 vale kasutajanime või parooli tõttu, ajalõpud proxy kättesaamatuse tõttu ja 429 sihtveebisaidi päringupiirangute tõttu.
ProxyError … 407 Proxy Authentication Required
Vale kasutajanimi või parool või jäid erimärgid kodeerimata.
ConnectTimeout või ProxyError … timed out
Proxyga ei saa ühendust: vale IP, port või võrgublokeering. Kontrolli tööriistaga curl.
HTTP 429 sihtlehelt
Sihtsait rakendab päringupiirangut (rate limit). Vähenda päringute arvu IP kohta, lisa viivitusi või jaota koormus mitme proxy vahel.
Kas sul pole proxyt? Osta automaatse aktiveerimisega dedikeeritud proxysid
Dedikeeritud IPv4 proxyd 9 riigis alates 20.000₫/IP/kuus, ostes 2.000 IP-d või rohkem (39.000₫ 1 IP eest), lisaks Vietnami ja USA staatilised ISP proxyd. HTTP(S) ja SOCKS5 kasutajanime ning parooliga, piiramatu ribalaius, aktiveeritakse pärast makset automaatselt. Vietnami proxyd toetavad praegu ainult HTTP(S)-i ilma SOCKS5-ta.
Osta proxysid kohe