Playwright (Node.js, Python)
- ბრაუზერის გაშვებისას: chromium.launch({ proxy: { server: "http://IP:PORT", username: "user", password: "pass" } }).
- თითო პროქსი თითო კონტექსტზე: browser.newContext({ proxy: { server, username, password } }). ერთ ბრაუზერში შესაძლებელია რამდენიმე კონტექსტის გაშვება, თითოეულს თავისი IP ექნება, რაც ბევრად ნაკლებ რესურსს მოითხოვს, ვიდრე რამდენიმე ბრაუზერის გაშვება.
- Python იყენებს იმავე სტრუქტურას ლექსიკონით (dictionary): p.chromium.launch(proxy={"server": "http://IP:PORT", "username": "user", "password": "pass"}).
- Firefox და WebKit Playwright-ში იღებს ზუსტად იმავე პროქსის კონფიგურაციას.
Puppeteer
- გაუშვით ბრაუზერი ბრძანების სტრიქონის ალმით (flag): puppeteer.launch({ args: ["--proxy-server=http://IP:PORT"] }).
- თითოეული გვერდისთვის გამოიძახეთ await page.authenticate({ username: "user", password: "pass" }) უშუალოდ page.goto-მდე.
- თუ ერთ ბრაუზერში რამდენიმე პროქსი გჭირდებათ, გამოიყენეთ browser.createBrowserContext({ proxyServer: "http://IP:PORT" }) Puppeteer-ის თანამედროვე ვერსიებში, თითოეულ გვერდზე page.authenticate-თან ერთად.
- შეამოწმეთ კავშირი მისამართზე https://api.ipify.org გადასვლით და პასუხის ტექსტის წაკითხვით.
შეუძლია თუ არა Selenium-ს მომხმარებლის სახელითა და პაროლით დაცული პროქსების გამოყენება?
დიახ, მაგრამ არა პირდაპირ. ChromeDriver-ს არ გააჩნია პარამეტრი პროქსის მომხმარებლის სახელისა და პაროლისთვის, ხოლო Chrome-ის პროქსი ავთენტიფიკაციის ფანჯრის მართვა სტანდარტული Selenium-ით შეუძლებელია. გავრცელებული ალტერნატივებია: selenium-wire ბიბლიოთეკის (Python) გამოყენება, რომელიც იღებს პროქსებს http://user:pass@IP:PORT ფორმატში; ავთენტიფიკაციის მოვლენების დასამუშავებლად პატარა Chrome გაფართოების შექმნა და მისი გაშვებისას ჩატვირთვა; ან Firefox-ის გამოყენება იმ პროფილით, სადაც პროქსის მონაცემები შენახულია. ახალი პროექტებისთვის Playwright ამ პროცესს ბევრად ამარტივებს.
რა უნდა გაითვალისწინოთ Playwright-ისა და Puppeteer-ის პროქსით ხანგრძლივად მუშაობისას?
დააყენეთ მოლოდინის დრო (timeout) და ქსელის შეცდომებზე ხელახალი მცდელობები, დახურეთ გვერდები და კონტექსტები დასრულებისას და შეზღუდეთ ერთდროული სესიები თითო IP-ზე 429 შეცდომების თავიდან ასაცილებლად.
- დააყენეთ გონივრული ნავიგაციის ტაიმაუტები (30–60 წამი) და დანერგეთ განმეორების (retry) ლოგიკა ქსელის დროებითი შეფერხებებისთვის.
- სამუშაოს დასრულებისთანავე დროულად დახურეთ გვერდები და კონტექსტები, რათა თავიდან აიცილოთ უმოქმედო კავშირების გაჟონვა.
- შეზღუდეთ ერთ IP-ზე პარალელურად გაშვებული სესიების რაოდენობა; სამიზნე სერვისებმა შეიძლება დააბრუნოს 429 შეცდომა, თუ მოთხოვნების მოცულობა ერთი მისამართიდან ძალიან მაღალია.
- შეუსაბამეთ კონტექსტის დროის სარტყელი და ლოკალი პროქსის ქვეყანას (timezoneId, locale Playwright-ში).
გჭირდებათ პროქსი? შეიძინეთ პერსონალური პროქსები ავტომატური აქტივაციით
პერსონალური IPv4 პროქსები 9 ქვეყანაში 20.000₫/IP/თვეში 2.000 IP-დან შეძენისას (39.000₫ 1 IP-სთვის) და სტატიკური ISP პროქსები ვიეტნამსა და აშშ-ში. HTTP(S) და SOCKS5 მომხმარებლის სახელითა და პაროლით, შეუზღუდავი ტრაფიკი, ავტომატური გააქტიურება გადახდისთანავე. გაითვალისწინეთ, რომ ვიეტნამის პროქსები ამჟამად იყენებს HTTP(S) პროტოკოლს და ჯერ არ აქვს SOCKS5-ის მხარდაჭერა.
შეიძინეთ პროქსი ახლავე