Негізгі баптау
- ip:port:user:pass жолын URL пішіміне келтіріңіз: proxy_url = "http://user:pass@IP:PORT".
- Екі кілтті де көрсетіңіз: proxies = {"http": proxy_url, "https": proxy_url}. "https" кілті бәрібір http:// деп басталатын URL-ге сілтейді, өйткені ONET проксилері — HTTP проксилері; requests HTTPS сайттары үшін автоматты түрде CONNECT пайдаланады.
- Сұрауды жіберіңіз: r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text). Нәтижеде проксидің IP мекенжайы шығуы керек.
- "https": "https://IP:PORT" деп жазбаңыз. ONET проксилері өздеріне TLS байланыстарын қабылдамайды және SSL қатесін қайтарады немесе байланысты үзеді.
requests кітапханасында құпиясөзінде арнайы таңбалары бар проксилерді қалай пайдалануға болады?
Құрастырмас бұрын пайдаланушы аты мен құпия сөзді URL-кодтаңыз: from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}". Бұл қадамсыз құпия сөздегі @ немесе : таңбалары requests кітапханасының прокси мекенжайын қате талдауына әкеледі.
Session және қайталауды пайдалану
- s = requests.Session(); s.proxies.update(proxies) жасаңыз. s арқылы жасалған барлық сұраулар бір проксиді пайдаланады және қосылымдарды сақтайды, бұл requests.get функциясын қайталап шақырғаннан жылдамырақ.
- Өтпелі қателер кезінде автоматты түрде қайталау үшін Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503]) бар HTTPAdapter қосыңыз.
- Әрқашан таймаут орнатыңыз. Таймаут болмаса, байланыс үзіліп ілініп қалғанда бағдарламаңыз белгісіз мерзімге қатып қалуы мүмкін.
- Егер s.trust_env = False мәнін орнатпасаңыз, HTTPS_PROXY орта айнымалысын requests да оқиды.
httpx арқылы
httpx 0.26 нұсқасынан бастап проксиді proxy параметрі арқылы беріңіз: httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30). Ескі нұсқаларда proxies={"all://": url} қолданылады. Егер параллель сұрауларды орындау қажет болса, httpx асинхрондылықты (httpx.AsyncClient) қолдайды.
Python requests кітапханасында қандай прокси қателері жиі кездеседі?
Ең жиі кездесетін үш қате: пайдаланушы аты немесе құпиясөздің қателігінен туындайтын 407, проксиге қол жеткізе алмау салдарынан болатын таймауттар және мақсатты веб-сайттың сұраулар лимитінен туындайтын 429.
ProxyError … 407 Proxy Authentication Required
Пайдаланушы аты немесе құпия сөз қате, немесе арнайы таңбалар кодталмаған.
ConnectTimeout немесе ProxyError … timed out
Проксиге қосылу мүмкін емес: қате IP, порт немесе желі бұғатталған. curl арқылы тексеріңіз.
Мақсатты сайттан HTTP 429
Мақсатты сайт сұрау жиілігін шектеді. Бір IP-ге келетін сұраулар санын азайтыңыз, кідірістер қосыңыз немесе жүктемені бірнеше проксиге бөліңіз.
Проксиіңіз жоқ па? Автоматты түрде қосылатын жеке проксилерді сатып алыңыз
2.000 IP немесе одан көп сатып алғанда 9 елдегі жеке IPv4 проксилері айына 20.000₫/IP бастап (1 IP үшін 39.000₫), сонымен қатар Вьетнам мен АҚШ статикалық ISP проксилері. Пайдаланушы аты мен құпия сөзі бар HTTP(S) және SOCKS5, шексіз трафик, төлемнен кейін автоматты түрде беріледі. Қазіргі уақытта Вьетнам проксилері SOCKS5 қолдауынсыз, тек HTTP(S) қолдайды.
Проксилерді қазір сатып алу