Playwright (Node.js, Python)
- ஒரு உலாவியைத் தொடங்கும்போது: chromium.launch({ proxy: { server: "http://IP:PORT", username: "user", password: "pass" } }).
- ஒரு context-க்கு ஒரு ப்ராக்ஸி: browser.newContext({ proxy: { server, username, password } }). ஒரு தனி உலாவி இன்ஸ்டன்ஸ் பல context-களை இயக்க முடியும், ஒவ்வொன்றும் தனக்கென ஒரு IP-ஐக் கொண்டிருக்கும்; பல உலாவிகளைத் தொடங்குவதை விட இது மிகக் குறைந்த overhead-ஐப் பயன்படுத்துகிறது.
- Python ஒரு dictionary உடன் இதே அமைப்பைப் பயன்படுத்துகிறது: p.chromium.launch(proxy={"server": "http://IP:PORT", "username": "user", "password": "pass"}).
- Playwright-இல் உள்ள Firefox மற்றும் WebKit ஆகியவை இதே ப்ராக்ஸி உள்ளமைவை அப்படியே ஏற்றுக்கொள்கின்றன.
Puppeteer
- கட்டளை வரி ஃபிளாக் மூலம் உலாவியைத் தொடங்குங்கள்: puppeteer.launch({ args: ["--proxy-server=http://IP:PORT"] }).
- ஒவ்வொரு பக்கத்திற்கும், page.goto-வுக்கு முன்பாக await page.authenticate({ username: "user", password: "pass" })-ஐ அழைக்கவும்.
- ஒரே உலாவியில் பல ப்ராக்ஸிகள் தேவைப்பட்டால், நவீன Puppeteer பதிப்புகளில் browser.createBrowserContext({ proxyServer: "http://IP:PORT" }) உடன் ஒவ்வொரு பக்கத்திலும் page.authenticate-ஐயும் பயன்படுத்தவும்.
- https://api.ipify.org முகவரிக்குச் சென்று response body-ஐப் படிப்பதன் மூலம் இணைப்பைச் சரிபார்க்கவும்.
Selenium பயனர் பெயர் மற்றும் கடவுச்சொல் கொண்ட proxies-ஐப் பயன்படுத்த முடியுமா?
ஆம், ஆனால் நேரடியாக முடியாது. ChromeDriver-ல் proxy பயனர் பெயர் மற்றும் கடவுச்சொல்லுக்கான அளவுரு (parameter) எதுவும் இல்லை, மேலும் Chrome-ன் proxy அங்கீகார உரையாடலை நிலையான Selenium மூலம் கட்டுப்படுத்த முடியாது. பொதுவான தீர்வுகள்: http://user:pass@IP:PORT வடிவத்தில் proxies-ஐ ஏற்கும் selenium-wire நூலகத்தைப் (Python) பயன்படுத்துவது; அங்கீகார நிகழ்வுகளைக் கையாள ஒரு சிறிய Chrome extension-ஐ உருவாக்கி அதைத் தொடக்கத்தில் ஏற்றுவது; அல்லது proxy சான்றுகள் சேமிக்கப்பட்ட ஒரு ப்ரொஃபைலுடன் Firefox-ஐப் பயன்படுத்துவது. புதிய திட்டங்களுக்கு, Playwright இதை மிகவும் எளிதாக்குகிறது.
Playwright மற்றும் Puppeteer-ஐ நீண்ட காலத்திற்கு proxies வழியாக இயக்கும்போது எவற்றைக் கவனத்தில் கொள்ள வேண்டும்?
டைம்அவுட்களை அமைத்து நெட்வொர்க் பிழைகளில் மீண்டும் முயற்சிக்கவும், வேலை முடிந்ததும் பக்கங்களையும் contexts-ஐயும் மூடவும், மேலும் 429 பிழைகளைத் தவிர்க்க ஒரு IP-க்கான ஒரே நேர அமர்வுகளைக் (concurrent sessions) கட்டுப்படுத்தவும்.
- பொருத்தமான navigation காலக்கெடுவை (30–60 வினாடிகள்) அமைத்து, தற்காலிக நெட்வொர்க் தோல்விகளுக்கு மறுமுயற்சி லாஜிக்கை (retry logic) செயல்படுத்தவும்.
- செயலற்ற இணைப்புகள் கசிவதைத் தவிர்க்க, பணி முடிந்ததும் பக்கங்களையும் context-களையும் உடனடியாக மூடவும்.
- ஒரே IP மூலம் இயங்கும் ஒரே நேரத்திலான செஷன்களைக் கட்டுப்படுத்தவும்; ஒரே முகவரியிலிருந்து வரும் கோரிக்கைகளின் எண்ணிக்கை மிக அதிகமாக இருந்தால், இலக்கு சேவைகள் 429 பிழையை வழங்கக்கூடும்.
- context-இன் நேர மண்டலம் மற்றும் மொழியை ப்ராக்ஸி நாட்டின் அமைப்போடு பொருந்துமாறு அமைக்கவும் (Playwright-இல் timezoneId, locale).
ப்ராக்ஸி தேவையா? தானியங்கி ஆக்டிவேஷனுடன் பிரத்யேக ப்ராக்ஸிகளை வாங்கவும்
2.000 IP-கள் முதல் வாங்கும்போது 9 நாடுகளில் பிரத்யேக IPv4 ப்ராக்ஸிகள் 20.000₫/IP/மாதம் முதல் (1 IP-க்கு 39.000₫) மற்றும் Vietnam, US-இல் static ISP ப்ராக்ஸிகள். username மற்றும் password உடன் HTTP(S) மற்றும் SOCKS5, வரம்பற்ற bandwidth, கட்டணம் செலுத்தியதும் தானாகவே வழங்கப்படும். Vietnam ப்ராக்ஸிகள் தற்போது HTTP(S) நெறிமுறையைப் பயன்படுத்துகின்றன, இன்னும் SOCKS5-ஐ ஆதரிக்கவில்லை என்பதை நினைவில் கொள்ளவும்.
ப்ராக்ஸிகளை இப்போது வாங்கவும்