Playwright (Node.js, Python)
- Palaižot pārlūku: chromium.launch({ proxy: { server: "http://IP:PORT", username: "user", password: "pass" } }).
- Viens proxy katram kontekstam: browser.newContext({ proxy: { server, username, password } }). Viena pārlūka instance var darbināt vairākus kontekstus, katru ar savu IP, patērējot ievērojami mazāk resursu nekā vairāku pārlūku palaišana.
- Python izmanto to pašu struktūru ar vārdnīcu: p.chromium.launch(proxy={"server": "http://IP:PORT", "username": "user", "password": "pass"}).
- Firefox un WebKit pārlūkā Playwright pieņem tieši tādu pašu proxy konfigurāciju.
Puppeteer
- Palaidiet pārlūku ar komandrindas karodziņu: puppeteer.launch({ args: ["--proxy-server=http://IP:PORT"] }).
- Katrai lapai pirms page.goto izsauciet await page.authenticate({ username: "user", password: "pass" }).
- Ja vienā pārlūkā nepieciešami vairāki proxy, jaunākajās Puppeteer versijās izmantojiet browser.createBrowserContext({ proxyServer: "http://IP:PORT" }), paralēli izsaucot page.authenticate katrai lapai.
- Pārbaudiet savienojumu, atverot vietni https://api.ipify.org un nolasot atbildes pamattekstu.
Vai Selenium var izmantot starpniekserverus ar lietotājvārdu un paroli?
Jā, bet ne tieši. ChromeDriver nav parametra starpniekservera lietotājvārdam un parolei, un Chrome starpniekservera autentifikācijas dialoglodziņu nevar kontrolēt ar standarta Selenium. Izplatītākie risinājumi: bibliotēkas selenium-wire (Python) izmantošana, kas pieņem starpniekserverus formātā http://user:pass@IP:PORT; neliela Chrome paplašinājuma izveide autentifikācijas notikumu apstrādei, ielādējot to startēšanas laikā; vai Firefox izmantošana ar profilu, kurā saglabāti starpniekservera akreditācijas dati. Jaunos projektos Playwright to ievērojami atvieglo.
Kas jāņem vērā, ilgtermiņā darbinot Playwright un Puppeteer caur starpniekserveriem?
Iestatiet noildzes un atkārtotus mēģinājumus tīkla kļūdu gadījumā, aizveriet lapas un kontekstus pēc pabeigšanas, kā arī ierobežojiet vienlaicīgo sesiju skaitu uz vienu IP, lai izvairītos no 429 kļūdām.
- Iestatiet saprātīgus navigācijas noildzes laikus (30–60 sekundes) un ieviesiet atkārtotu mēģinājumu loģiku īslaicīgu tīkla kļūmju gadījumā.
- Pēc pabeigšanas nekavējoties aizveriet lapas un kontekstus, lai izvairītos no dīkstāvē esošu savienojumu noplūdes.
- Ierobežojiet vienlaicīgo sesiju skaitu caur vienu IP; mērķa pakalpojumi var atgriezt 429, ja pieprasījumu apjoms no vienas adreses ir pārāk liels.
- Saskaņojiet konteksta laika joslu un lokāli ar proxy valsti (timezoneId, locale rīkā Playwright).
Nepieciešams proxy? Pērciet dedicētos proxy ar automātisku aktivizēšanu
Dedicētie IPv4 proxy 9 valstīs no 20.000₫/IP/mēnesī, iegādājoties no 2.000 IP (39.000₫ par 1 IP), un statiskie ISP proxy Vjetnamā, ASV. HTTP(S) un SOCKS5 ar lietotājvārdu un paroli, neierobežots joslas platums, automātiska nodrošināšana pēc apmaksas. Ņemiet vērā, ka Vjetnamas proxy pašlaik izmanto HTTP(S) protokolu un vēl neatbalsta SOCKS5.
Pirkt proxy tūlīt