Pamata konfigurācija
- Formatējiet virkni ip:port:user:pass par URL: proxy_url = "http://user:pass@IP:PORT".
- Deklarējiet abas atslēgas: proxies = {"http": proxy_url, "https": proxy_url}. Atslēga "https" joprojām norāda uz URL, kas sākas ar http://, jo ONET proxy ir HTTP proxy; requests automātiski izmanto CONNECT HTTPS vietnēm.
- Nosūtiet pieprasījumu: r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text). Rezultātam vajadzētu būt proxy IP.
- Nerakstiet "https": "https://IP:PORT". ONET proxy nepieņem TLS savienojumus ar sevi un atgriezīs SSL kļūdu vai pārtrauks savienojumu.
Kā bibliotēkā requests izmantot starpniekserverus ar speciālajām rakstzīmēm parolē?
Pirms savienošanas veiciet lietotājvārda un paroles URL-kodēšanu: from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}". Bez šī soļa rakstzīmes @ vai : parolē liks requests kļūdaini parsēt proxy adresi.
Session un atkārtotu mēģinājumu izmantošana
- Izveidojiet s = requests.Session(); s.proxies.update(proxies). Visi pieprasījumi, kas veikti caur s, koplieto proxy un uztur savienojumus, kas ir ātrāk nekā atkārtota requests.get izsaukšana.
- Pievienojiet HTTPAdapter ar Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503]), lai automātiski atkārtotu mēģinājumu pārejošu kļūdu gadījumā.
- Vienmēr iestatiet taimautu. Bez noildzes iestrēdzis savienojums var bezgalīgi apturēt jūsu programmas darbību.
- Vides mainīgo HTTPS_PROXY arī nolasa requests, ja vien neiestatāt s.trust_env = False.
Ar httpx
Sākot ar httpx 0.26, nododiet proxy, izmantojot parametru proxy: httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30). Vecākās versijās tiek izmantots proxies={"all://": url}. httpx atbalsta asinhrono režīmu (httpx.AsyncClient), ja nepieciešams veikt paralēlus pieprasījumus.
Ar kādām starpniekservera kļūdām visbiežāk saskaras Python requests?
Trīs biežākās kļūdas ir 407 nepareiza lietotājvārda vai paroles dēļ, noildzes savienojuma neizveidošanas dēļ ar starpniekserveri un 429 mērķa vietnes pieprasījumu ierobežojumu dēļ.
ProxyError … 407 Proxy Authentication Required
Nepareizs lietotājvārds vai parole, vai arī speciālās rakstzīmes netika iekodētas.
ConnectTimeout vai ProxyError … timed out
Nevar sasniegt proxy: nepareiza IP adrese, ports vai tīkla bloķēšana. Pārbaudiet, izmantojot curl.
HTTP 429 no mērķa vietnes
Mērķa vietne ir ierobežojusi pieprasījumu biežumu. Samaziniet pieprasījumu skaitu uz vienu IP, pievienojiet aiztures vai sadaliet slodzi starp vairākiem proxy.
Nav sava proxy? Iegādājieties dedicētos proxy ar automātisku aktivizāciju
Dedicētie IPv4 proxy 9 valstīs no 20.000₫/IP/mēnesī, iegādājoties 2.000 IP vai vairāk (39.000₫ par 1 IP), kā arī Vjetnamas un ASV statiskie ISP proxy. HTTP(S) un SOCKS5 ar lietotājvārdu un paroli, neierobežots joslas platums, automātiska nodrošināšana pēc apmaksas. Vjetnamas proxy pašlaik atbalsta tikai HTTP(S), bez SOCKS5.
Pirkt proxy tūlīt