საბაზისო კონფიგურაცია
- გადაიყვანეთ ip:port:user:pass სტრიქონი URL ფორმატში: proxy_url = "http://user:pass@IP:PORT".
- განსაზღვრეთ ორივე გასაღები: proxies = {"http": proxy_url, "https": proxy_url}. "https" გასაღები მაინც http://-ით დაწყებულ URL-ზე მიუთითებს, რადგან ONET-ის პროქსები არის HTTP პროქსები; requests ავტომატურად იყენებს CONNECT მეთოდს HTTPS საიტებისთვის.
- გაგზავნეთ მოთხოვნა: r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text). შედეგი უნდა იყოს პროქსის IP.
- არ ჩაწეროთ "https": "https://IP:PORT". ONET-ის პროქსები საკუთარ თავზე არ იღებენ TLS კავშირებს და დააბრუნებენ SSL შეცდომას ან დახურავენ კავშირს.
როგორ გამოვიყენოთ პროქსი requests-ში, თუ პაროლი სპეციალურ სიმბოლოებს შეიცავს?
აწყობამდე გაუკეთეთ URL-კოდირება მომხმარებლის სახელსა და პაროლს: from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}". ამ ნაბიჯის გარეშე, პაროლში არსებული @ ან : სიმბოლოები გამოიწვევს requests-ის მიერ პროქსის მისამართის არასწორ ანალიზს.
Session-ისა და განმეორებითი მოთხოვნების გამოყენება
- შექმენით s = requests.Session(); s.proxies.update(proxies). s-ის მეშვეობით გაგზავნილი ყველა მოთხოვნა იყენებს ერთსა და იმავე პროქსის და ინარჩუნებს კავშირს, რაც ბევრად უფრო სწრაფია, ვიდრე requests.get-ის განმეორებით გამოძახება.
- მიაბით HTTPAdapter Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503])-ით დროებით შეცდომებზე მოთხოვნების ავტომატური განმეორებისთვის.
- ყოველთვის მიუთითეთ timeout. ტაიმაუტის გარეშე, გაჭედილმა კავშირმა შეიძლება თქვენი პროგრამა განუსაზღვრელი ვადით გაყინოს.
- გარემოს ცვლად HTTPS_PROXY-ს ასევე კითხულობს requests, გარდა იმ შემთხვევისა, როდესაც მიუთითებთ s.trust_env = False.
httpx-თან მუშაობა
httpx 0.26 ვერსიიდან მოყოლებული, გადაეცით პროქსი proxy პარამეტრით: httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30). ძველი ვერსიები იყენებენ proxies={"all://": url}. httpx-ს გააჩნია ასინქრონული მუშაობის მხარდაჭერა (httpx.AsyncClient), თუ პარალელური მოთხოვნების გაშვება გჭირდებათ.
პროქსის რომელ შეცდომებს აწყდება ხშირად Python requests?
სამი გავრცელებული შეცდომაა: 407 არასწორი მომხმარებლის სახელის ან პაროლის გამო, ტაიმაუტები პროქსისთან კავშირის ვერდამყარებისას და 429 სამიზნე ვებსაიტის მოთხოვნების ლიმიტის გადაჭარბების გამო.
ProxyError … 407 Proxy Authentication Required
მომხმარებლის სახელი ან პაროლი არასწორია, ან სპეციალური სიმბოლოები არ არის დაკოდირებული.
ConnectTimeout ან ProxyError … timed out
პროქსისთან დაკავშირება ვერ ხერხდება: არასწორი IP, პორტი ან ქსელური შეზღუდვა. გადაამოწმეთ curl-ის გამოყენებით.
HTTP 429 სამიზნე საიტიდან
სამიზნე საიტმა შეზღუდა მოთხოვნების სიხშირე (rate limit). შეამცირეთ მოთხოვნები ერთ IP-ზე, დაამატეთ დაყოვნება ან გადაანაწილეთ დატვირთვა რამდენიმე პროქსიზე.
არ გაქვთ პროქსი? შეიძინეთ გამოყოფილი პროქსი ავტომატური აქტივაციით
გამოყოფილი IPv4 პროქსი 9 ქვეყანაში 20.000₫/IP/თვეში 2.000 ან მეტი IP-ის შეძენისას (39.000₫ 1 IP-ზე), ასევე Vietnam და US სტატიკური ISP პროქსი. HTTP(S) და SOCKS5 მომხმარებლის სახელითა და პაროლით, შეუზღუდავი გამტარუნარიანობა, ავტომატური გააქტიურება გადახდის შემდეგ. Vietnam-ის პროქსის ამჟამად აქვს მხოლოდ HTTP(S)-ის მხარდაჭერა, SOCKS5-ის გარეშე.
შეიძინეთ პროქსი ახლავე