Playwright (Node.js, Python)
- Браузерди иштетүүдө: chromium.launch({ proxy: { server: "http://IP:PORT", username: "user", password: "pass" } }).
- Ар бир контекст үчүн бир прокси: browser.newContext({ proxy: { server, username, password } }). Бир браузер инстанциясы бир нече контекстти иштете алат, алардын ар бири өз IP дарегине ээ болот жана бул бир нече браузерди ачууга караганда ресурстарды бир кыйла аз сарптайт.
- Python сөздүк менен ошол эле түзүмдү колдонот: p.chromium.launch(proxy={"server": "http://IP:PORT", "username": "user", "password": "pass"}).
- Playwright ичиндеги Firefox жана WebKit да дал ушундай прокси конфигурациясын кабыл алат.
Puppeteer
- Браузерди буйрук сабынын желеги менен иштетиңиз: puppeteer.launch({ args: ["--proxy-server=http://IP:PORT"] }).
- Ар бир барак үчүн page.goto чакыруусунан мурун await page.authenticate({ username: "user", password: "pass" }) чакырыңыз.
- Эгер бир браузердин ичинде бир нече прокси керек болсо, заманбап Puppeteer версияларындагы browser.createBrowserContext({ proxyServer: "http://IP:PORT" }) функциясын ар бир барактагы page.authenticate менен чогуу колдонуңуз.
- Байланышты https://api.ipify.org дарегине өтүп жана жооптун мазмунун окуу менен текшериңиз.
Selenium колдонуучу аты жана сырсөзү бар проксилерди колдоно алабы?
Ооба, бирок түз эмес. ChromeDriver'де проксинин колдонуучу аты жана сырсөзү үчүн параметр жок, ал эми Chrome'дун прокси аутентификация диалогун стандарттуу Selenium менен башкаруу мүмкүн эмес. Кеңири таралган чечимдер: http://user:pass@IP:PORT форматындагы проксилерди кабыл алган selenium-wire китепканасын (Python) колдонуу; аутентификация окуяларын иштетүү үчүн чакан Chrome кеңейтүүсүн түзүп, аны ишке киргизүүдө жүктөө; же прокси дайындары сакталган профили бар Firefox колдонуу. Жаңы долбоорлор үчүн Playwright муну кыйла жеңилдетет.
Playwright жана Puppeteer'ди прокси аркылуу узак мөөнөттүү иштетүүдө эмнелерди эске алуу керек?
Таймауттарды белгилеп, тармак каталарында кайра аракет кылыңыз, иш бүткөндөн кийин барактарды жана контексттерди жабыңыз, ошондой эле 429 катасын болтурбоо үчүн бир IP'ге туура келген бир убактагы сессияларды чектеңиз.
- Навигация үчүн акылга сыярлык күтүү убактысын (30–60 секунд) белгилеңиз жана тармактын убактылуу мүчүлүштүктөрү үчүн кайра аракет кылуу логикасын ишке ашырыңыз.
- Бош турган туташуулардын агып кетишине жол бербөө үчүн иш бүтөрү менен барактарды жана контексттерди токтоосуз жабыңыз.
- Бир IP аркылуу иштеген бир убактагы сессияларды чектеңиз; эгерде бир даректен келген суроо-талаптар өтө көп болсо, максаттуу кызматтар 429 катасын кайтарышы мүмкүн.
- Контексттин убакыт алкагын жана тил жөндөөсүн проксинин өлкөсүнө шайкештештириңиз (Playwright ичинде timezoneId, locale).
Прокси керекпи? Автоматтык түрдө активдештирилүүчү жеке проксилерди сатып алыңыз
9 өлкөдө бөлүнгөн жеке IPv4 проксилери 2.000 IP баштап сатып алууда 20.000₫/IP/айына баштап (1 IP үчүн 39.000₫) жана Vietnam, US өлкөлөрүндө статикалык ISP проксилери. Колдонуучунун аты жана сырсөзү менен HTTP(S) жана SOCKS5, чексиз трафик, төлөмдөн кийин автоматтык түрдө берилет. Учурда Vietnam проксилери HTTP(S) протоколун гана колдонуп, SOCKS5 протоколун азырынча колдобой турганын эске алыңыз.
Проксилерди азыр сатып алуу