Perusmääritykset
- Muotoile ip:port:user:pass-merkkijono URL-osoitteeksi: proxy_url = "http://user:pass@IP:PORT".
- Määritä molemmat avaimet: proxies = {"http": proxy_url, "https": proxy_url}. "https"-avain osoittaa edelleen http://-alkuiseen URL-osoitteeseen, koska ONET-proxyt ovat HTTP-proxyja; requests käyttää automaattisesti CONNECT-menetelmää HTTPS-sivustoille.
- Lähetä pyyntö: r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text). Tuloksen pitäisi olla proxyn IP-osoite.
- Älä kirjoita "https": "https://IP:PORT". ONET-proxyt eivät hyväksy TLS-yhteyksiä itseensä, vaan palauttavat SSL-virheen tai sulkevat yhteyden.
Miten välityspalvelinta käytetään requests-kirjastossa, kun salasanassa on erikoismerkkejä?
URL-koodaa käyttäjätunnus ja salasana ennen yhdistämistä: from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}". Ilman tätä vaihetta salasanassa olevat @- tai :-merkit saavat requests-kirjaston jäsentämään proxyn osoitteen väärin.
Sessionin ja uudelleenyritysten käyttö
- Luo s = requests.Session(); s.proxies.update(proxies). Kaikki s-olion kautta tehdyt pyynnöt jakavat proxyn ja säilyttävät yhteydet, mikä on nopeampaa kuin toistuva requests.get-kutsujen tekeminen.
- Liitä HTTPAdapter parametrilla Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503]) yrittääksesi tilapäisiä virheitä automaattisesti uudelleen.
- Aseta aina aikakatkaisu. Ilman aikakatkaisua jumiutunut yhteys voi pysäyttää ohjelmasi suorituksen määräämättömäksi ajaksi.
- requests lukee myös HTTPS_PROXY-ympäristömuuttujan, ellet aseta arvoa s.trust_env = False.
Käyttö httpx-kirjaston kanssa
httpx-versiosta 0.26 alkaen proxy välitetään proxy-parametrilla: httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30). Vanhemmat versiot käyttävät muotoa proxies={"all://": url}. httpx tukee asynkronisuutta (httpx.AsyncClient), jos haluat suorittaa samanaikaisia pyyntöjä.
Mitä proxy-virheitä Pythonin requests-kirjastossa esiintyy yleisimmin?
Kolme yleisintä virhettä ovat 407 virheellisen käyttäjätunnuksen tai salasanan vuoksi, aikakatkaisut, kun välityspalvelimeen ei saada yhteyttä, sekä 429 kohdesivuston pyyntörajojen ylittymisestä.
ProxyError … 407 Proxy Authentication Required
Virheellinen käyttäjätunnus tai salasana, tai erikoismerkkejä ei ole koodattu.
ConnectTimeout tai ProxyError … timed out
Proxyyn ei saada yhteyttä: virheellinen IP-osoite, portti tai verkkokatkos. Varmista toimivuus curl-työkalulla.
HTTP 429 kohdesivustolta
Kohdesivusto rajoittaa pyyntöjen määrää (rate limit). Vähennä pyyntöjä IP-osoitetta kohti, lisää viiveitä tai hajauta kuormitus useammalle proxylle.
Eikö sinulla ole proxyä? Osta dedikoituja proxyja automaattisella aktivoinnilla
Dedikoidut IPv4-proxyt 9 maassa alkaen 20.000₫/IP/kk vähintään 2.000 IP:n tilauksissa (39.000₫ 1 IP:lle) sekä staattiset ISP-proxyt Vietnamissa ja Yhdysvalloissa. HTTP(S) ja SOCKS5 käyttäjätunnuksella ja salasanalla, rajoittamaton kaistanleveys, toimitus automaattisesti maksun jälkeen. Vietnamin proxyt tukevat tällä hetkellä vain HTTP(S)-yhteyksiä ilman SOCKS5-tukea.
Osta proxyja nyt