Playwright (Node.js, Python)
- Браузерді іске қосқан кезде: chromium.launch({ proxy: { server: "http://IP:PORT", username: "user", password: "pass" } }).
- Бір контекстке бір прокси: browser.newContext({ proxy: { server, username, password } }). Бір браузер данасы әрқайсысының жеке IP мекенжайы бар бірнеше контекстті іске қоса алады, бұл бірнеше браузерді ашуға қарағанда ресурстарды әлдеқайда аз тұтынады.
- Python сөздік құрылымын пайдаланады: p.chromium.launch(proxy={"server": "http://IP:PORT", "username": "user", "password": "pass"}).
- Playwright-тегі Firefox және WebKit тура осы прокси конфигурациясын қабылдайды.
Puppeteer
- Браузерді пәрмен жолы жалаушасымен іске қосыңыз: puppeteer.launch({ args: ["--proxy-server=http://IP:PORT"] }).
- Әрбір бет үшін page.goto алдында await page.authenticate({ username: "user", password: "pass" }) шақырыңыз.
- Егер бір браузер ішінде бірнеше прокси қажет болса, заманауи Puppeteer нұсқаларында browser.createBrowserContext({ proxyServer: "http://IP:PORT" }) әдісін әр беттегі page.authenticate шақыруымен қатар пайдаланыңыз.
- https://api.ipify.org мекенжайына өтіп және жауап мәтінін оқу арқылы қосылымды тексеріңіз.
Selenium логин мен құпиясөзі бар проксилерді пайдалана ала ма?
Иә, бірақ тікелей емес. ChromeDriver құралында прокси пайдаланушы аты мен құпиясөзіне арналған параметр жоқ, ал Chrome прокси аутентификациясы терезесін стандартты Selenium арқылы басқару мүмкін емес. Жалпыға ортақ шешімдер: проксилерді http://user:pass@IP:PORT пішімінде қабылдайтын selenium-wire кітапханасын (Python) пайдалану; аутентификацияны өңдейтін шағын Chrome кеңейтімін жасап, оны іске қосу кезінде жүктеу; немесе прокси деректері сақталған профилі бар Firefox қолдану. Жаңа жобалар үшін Playwright бұл процесті әлдеқайда жеңілдетеді.
Playwright пен Puppeteer-ді прокси арқылы ұзақ мерзімді іске қосқанда нені ескеру керек?
Таймауттарды орнатып, желі қателері кезінде қайта қосылуды баптаңыз, жұмыс аяқталған соң беттер мен контексттерді жабыңыз және 429 қателерін болдырмау үшін бір IP-ге келетін бір мезгілдегі сессиялар санын шектеңіз.
- Өтулер үшін орынды күту уақытын (30–60 секунд) орнатыңыз және желідегі уақытша ақаулар кезінде қайталау логикасын енгізіңіз.
- Бос қосылымдар жиналып қалмауы үшін жұмыс аяқталған соң беттер мен контексттерді дереу жабыңыз.
- Бір IP арқылы орындалатын қатарлас сессиялар санын шектеңіз; егер бір мекенжайдан келетін сұраныстар көлемі тым көп болса, нысаналы қызметтер 429 қатесін қайтаруы мүмкін.
- Контексттің уақыт белдеуі мен тілін прокси еліне сәйкестендіріңіз (Playwright ішіндегі timezoneId, locale).
Прокси керек пе? Автоматты түрде қосылатын жеке проксилерді сатып алыңыз
9 елдегі жеке IPv4 проксилері 2.000 IP-ден бастап сатып алғанда 20.000₫/IP/ай бастап (1 IP үшін 39.000₫) және Вьетнам, US елдеріндегі тұрақты ISP проксилері. Пайдаланушы аты мен құпия сөзі бар HTTP(S) және SOCKS5, шексіз трафик, төлемнен кейін автоматты түрде беріледі. Вьетнам проксилері қазіргі уақытта HTTP(S) хаттамасын қолданатынын және әзірше SOCKS5 қолдамайтынын ескеріңіз.
Проксиді қазір сатып алу