Հիմնական կարգավորում
- Ձևաչափեք ip:port:user:pass տողը URL-ի տեսքով՝ proxy_url = "http://user:pass@IP:PORT":
- Հայտարարեք երկու բանալիները՝ proxies = {"http": proxy_url, "https": proxy_url}: "https" բանալին շարունակում է հղվել http://-ով սկսվող URL-ին, քանի որ ONET պրոքսիները HTTP պրոքսիներ են. requests-ն ավտոմատ կերպով օգտագործում է CONNECT HTTPS կայքերի համար:
- Ուղարկեք հարցումը՝ r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text): Արդյունքը պետք է լինի պրոքսիի IP-ն:
- Մի գրեք "https": "https://IP:PORT": ONET պրոքսիները չեն ընդունում TLS միացումներ իրենց հանդեպ և կվերադարձնեն SSL սխալ կամ կփակեն միացումը:
Ինչպե՞ս օգտագործել պրոքսիներ գաղտնաբառում հատուկ նիշերով requests-ում:
URL-կոդավորեք օգտանունը և գաղտնաբառը նախքան միավորելը՝ from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}": Առանց այս քայլի գաղտնաբառի մեջ եղած @ կամ : նիշերը կհանգեցնեն նրան, որ requests-ը սխալ կվերլուծի պրոքսիի հասցեն:
Session-ի և կրկնակի փորձերի օգտագործումը
- Ստեղծեք s = requests.Session(); s.proxies.update(proxies): s-ի միջոցով կատարված բոլոր հարցումները կիսում են պրոքսին և պահպանում միացումները, ինչն ավելի արագ է, քան requests.get-ը բազմիցս կանչելը:
- Միացրեք HTTPAdapter Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503])-ի հետ՝ անցողիկ սխալների դեպքում ավտոմատ կրկնելու համար:
- Միշտ սահմանեք timeout: Առանց timeout-ի կախված միացումը կարող է անորոշ ժամանակով սառեցնել ձեր ծրագիրը:
- HTTPS_PROXY միջավայրի փոփոխականը նույնպես կարդացվում է requests-ի կողմից, եթե չսահմանեք s.trust_env = False:
httpx-ի հետ
Սկսած httpx 0.26 տարբերակից՝ փոխանցեք պրոքսին proxy պարամետրի միջոցով՝ httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30): Ավելի հին տարբերակներն օգտագործում են proxies={"all://": url}: httpx-ն աջակցում է async (httpx.AsyncClient), եթե անհրաժեշտ է կատարել զուգահեռ հարցումներ:
Պրոքսիի ի՞նչ սխալների է առավել հաճախ բախվում Python requests-ը:
Երեք տարածված սխալներն են՝ 407-ը՝ սխալ օգտատիրոջ անվան կամ գաղտնաբառի պատճառով, timeout-ները՝ պրոքսիին չհասնելու պատճառով, և 429-ը՝ նպատակային կայքի հարցումների սահմանափակումներից (rate limits):
ProxyError … 407 Proxy Authentication Required
Սխալ օգտանուն կամ գաղտնաբառ, կամ հատուկ նիշերը չեն կոդավորվել:
ConnectTimeout կամ ProxyError … timed out
Հնարավոր չէ կապվել պրոքսիին. սխալ IP, port կամ ցանցային արգելափակում: Ստուգեք curl-ի միջոցով:
HTTP 429 նպատակակետ կայքից
Հարցումների հաճախականության սահմանափակում (rate limit) նպատակակետ կայքի կողմից: Նվազեցրեք հարցումները մեկ IP-ի համար, ավելացրեք դադարներ կամ բաշխեք ծանրաբեռնվածությունը մի քանի պրոքսիների միջև:
Չունե՞ք պրոքսի: Գնեք հատկացված պրոքսիներ ավտոմատ ակտիվացմամբ
Հատկացված IPv4 պրոքսիներ 9 երկրներում՝ սկսած 20.000₫/IP/ամիս 2.000 IP կամ ավելի գնելիս (39.000₫՝ 1 IP-ի համար), ինչպես նաև Վիետնամի և US ստատիկ ISP պրոքսիներ: HTTP(S) և SOCKS5 օգտանունով ու գաղտնաբառով, անսահմանափակ թողունակություն, ավտոմատ տրամադրում վճարումից հետո: Վիետնամի պրոքսիներն այժմ աջակցում են միայն HTTP(S)՝ առանց SOCKS5-ի:
Գնել պրոքսի հիմա