அடிப்படை உள்ளமைப்பு
- ip:port:user:pass என்ற string-ஐ URL வடிவத்திற்கு மாற்றவும்: proxy_url = "http://user:pass@IP:PORT".
- இரு keys-களையும் அறிவிக்கவும்: proxies = {"http": proxy_url, "https": proxy_url}. ONET proxies என்பவை HTTP proxies என்பதால், "https" key இன்னும் http:// உடன் தொடங்கும் URL-ஐயே குறிக்கிறது; HTTPS தளங்களுக்கு requests தானாகவே CONNECT முறையைப் பயன்படுத்துகிறது.
- கோரிக்கையை அனுப்பவும்: r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text). இதன் முடிவு proxy IP ஆக இருக்க வேண்டும்.
- "https": "https://IP:PORT" என்று எழுத வேண்டாம். ONET proxies தங்களுக்குள் நேரடி TLS இணைப்புகளை ஏற்காது, மேலும் ஒரு SSL பிழையைத் தரும் அல்லது இணைப்பை மூடிவிடும்.
requests-ல் கடவுச்சொல்லில் சிறப்பு எழுத்துகள் உள்ள proxies-ஐ எவ்வாறு பயன்படுத்துவது?
இணைப்பதற்கு முன் பயனர்பெயர் மற்றும் கடவுச்சொல்லை URL-encode செய்யவும்: from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}". இந்த படிநிலை இல்லாமல், கடவுச்சொல்லில் உள்ள @ அல்லது : குறியீடுகள் requests ப்ராக்ஸி முகவரியை தவறாகப் பிரிக்க (misparse) வழிவகுக்கும்.
Session மற்றும் மறுமுயற்சிகளைப் பயன்படுத்துதல்
- s = requests.Session(); s.proxies.update(proxies) என உருவாக்கவும். s வழியாக அனுப்பப்படும் அனைத்து கோரிக்கைகளும் proxy-ஐப் பகிர்ந்துகொண்டு இணைப்புகளைத் தக்கவைத்துக் கொள்கின்றன, இது requests.get-ஐ மீண்டும் மீண்டும் அழைப்பதை விட வேகமானது.
- தற்காலிகப் பிழைகளின் போது தானாகவே மீண்டும் முயற்சிக்க Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503]) உடன் ஒரு HTTPAdapter-ஐ மவுண்ட் செய்யவும்.
- எப்போதும் ஒரு timeout-ஐ அமைக்கவும். timeout இல்லையென்றால், தடைபடும் இணைப்பு உங்கள் நிரலை காலவரையின்றி முடக்கிவிடக்கூடும்.
- நீங்கள் s.trust_env = False என அமைக்காதவரை, HTTPS_PROXY environment variable-ஐயும் requests படிக்கும்.
httpx உடன்
httpx 0.26 முதல், proxy parameter-ஐப் பயன்படுத்தி proxy-ஐ அனுப்பவும்: httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30). பழைய பதிப்புகள் proxies={"all://": url} என்பதைப் பயன்படுத்துகின்றன. ஒரே நேரத்தில் பல கோரிக்கைகளை இயக்க வேண்டியிருந்தால் httpx async (httpx.AsyncClient)-ஐ ஆதரிக்கிறது.
Python requests பொதுவாக என்ன proxy பிழைகளை எதிர்கொள்கிறது?
தவறான பயனர் பெயர் அல்லது கடவுச்சொல்லால் ஏற்படும் 407, proxy-ஐ அடைய முடியாததால் ஏற்படும் timeouts, மற்றும் இலக்கு வலைத்தளத்தின் வரம்பு வரம்புகளால் (rate limits) ஏற்படும் 429 ஆகியவையே மூன்று பொதுவான பிழைகள் ஆகும்.
ProxyError … 407 Proxy Authentication Required
தவறான பயனர்பெயர் அல்லது கடவுச்சொல், அல்லது சிறப்புக் குறியீடுகள் encode செய்யப்படவில்லை.
ConnectTimeout அல்லது ProxyError … timed out
proxy-ஐ அணுக முடியவில்லை: தவறான IP, port அல்லது பிணையத் தடை. curl-ஐப் பயன்படுத்திச் சரிபார்க்கவும்.
இலக்கு தளத்திலிருந்து HTTP 429
இலக்கு தளத்தால் கோரிக்கை வரம்பு விதிக்கப்பட்டுள்ளது (Rate-limited). ஒரு IP-க்கான கோரிக்கைகளைக் குறைக்கவும், காலதாமதங்களைச் சேர்க்கவும் அல்லது பல proxies-களில் சுமையைப் பகிரவும்.
ப்ராக்ஸி இல்லையா? உடனடி செயல்படுத்தலுடன் பிரத்யேக ப்ராக்ஸிகளை வாங்குங்கள்
2.000 IPs அல்லது அதற்கு மேல் வாங்கும்போது 20.000₫/IP/மாதம் முதல் (1 IP-க்கு 39.000₫) 9 நாடுகளில் பிரத்யேக IPv4 proxies, அத்துடன் Vietnam மற்றும் US நிலையான ISP proxies. பயனர்பெயர் மற்றும் கடவுச்சொல்லுடன் HTTP(S) மற்றும் SOCKS5, வரம்பற்ற அலைவரிசை, கட்டணத்திற்குப் பிறகு தானாகவே வழங்கப்படும். Vietnam proxies தற்போது HTTP(S)-ஐ மட்டுமே ஆதரிக்கிறது, SOCKS5 இல்லாமல்.
ப்ராக்ஸிகளை இப்போதே வாங்கவும்