Playwright (Node.js, Python)
- Kun selain käynnistetään: chromium.launch({ proxy: { server: "http://IP:PORT", username: "user", password: "pass" } }).
- Yksi proxy kontekstia kohden: browser.newContext({ proxy: { server, username, password } }). Yksi selaininstanssi voi ajaa useita konteksteja, joista jokaisella on oma IP-osoitteensa, mikä kuluttaa huomattavasti vähemmän resursseja kuin useiden selainten käynnistäminen.
- Python käyttää samaa rakennetta sanakirjalla: p.chromium.launch(proxy={"server": "http://IP:PORT", "username": "user", "password": "pass"}).
- Playwrightin Firefox ja WebKit hyväksyvät täsmälleen samat proxy-määritykset.
Puppeteer
- Käynnistä selain komentorivilipulla: puppeteer.launch({ args: ["--proxy-server=http://IP:PORT"] }).
- Kutsu kullekin sivulle await page.authenticate({ username: "user", password: "pass" }) ennen kutsua page.goto.
- Jos tarvitset useita proxyja yhdessä selaimessa, käytä uudemmissa Puppeteer-versioissa kutsua browser.createBrowserContext({ proxyServer: "http://IP:PORT" }) sekä page.authenticate-kutsua kullakin sivulla.
- Varmista yhteys siirtymällä osoitteeseen https://api.ipify.org ja lukemalla vastauksen runko.
Voiko Selenium käyttää käyttäjätunnuksella ja salasanalla todennettavia välityspalvelimia?
Kyllä, mutta ei suoraan. ChromeDriverissä ei ole parametria välityspalvelimen käyttäjätunnukselle ja salasanalle, eikä Chromen todennusikkunaa voida hallita tavallisella Seleniumilla. Yleisiä kiertotapoja ovat: selenium-wire-kirjaston (Python) käyttäminen, joka hyväksyy välityspalvelimet muodossa http://user:pass@IP:PORT; pienen Chrome-laajennuksen luominen todennustapahtumien käsittelyyn ja sen lataaminen käynnistyksen yhteydessä; tai Firefoxin käyttäminen profiililla, johon kirjautumistiedot on tallennettu. Uusissa projekteissa Playwright tekee tästä huomattavasti suoraviivaisempaa.
Mitä tulee ottaa huomioon, kun Playwrightia ja Puppeteeria ajetaan välityspalvelinten kautta pitkällä aikavälillä?
Määritä aikakatkaisut ja uudelleenyritykset verkkovirheiden varalle, sulje sivut ja kontekstit käytön jälkeen sekä rajoita samanaikaisten istuntojen määrää IP-osoitetta kohden virheen 429 välttämiseksi.
- Aseta järkevät sivun latauksen aikakatkaisut (30–60 sekuntia) ja toteuta uudelleenyrityslogiikka tilapäisiä verkkovirheitä varten.
- Sulje sivut ja kontekstit viipymättä valmistumisen jälkeen, jotta toimettomia yhteyksiä ei jää auki.
- Rajoita samanaikaisten istuntojen määrää yhtä IP-osoitetta kohden; kohdepalvelut saattavat palauttaa virheen 429, jos pyyntöjen määrä yhdestä osoitteesta on liian suuri.
- Sovita kontekstin aikavyöhyke ja maa-asetus proxyn maahan (timezoneId, locale Playwrightissa).
Tarvitsetko proxyn? Osta dedikoituja proxyja automaattisella aktivoinnilla
Dedikoidut IPv4-proxyt 9 maassa alkaen 20.000₫/IP/kk vähintään 2.000 IP:tä ostettaessa (39.000₫ 1 IP:lle) sekä staattiset ISP-proxyt Vietnamissa ja US-alueella. HTTP(S) ja SOCKS5 käyttäjätunnuksella ja salasanalla, rajoittamaton kaistanleveys, automaattinen käyttöönotto maksun jälkeen. Huomaa, että Vietnamin proxyt käyttävät tällä hetkellä HTTP(S)-protokollaa eivätkä vielä tue SOCKS5-protokollaa.
Osta proxyja nyt