การตั้งค่าพื้นฐาน
- จัดรูปแบบสตริง ip:port:user:pass ให้เป็น URL: proxy_url = "http://user:pass@IP:PORT"
- กำหนดค่าทั้งสองคีย์: proxies = {"http": proxy_url, "https": proxy_url} โดยคีย์ "https" ยังคงชี้ไปยัง URL ที่ขึ้นต้นด้วย http:// เนื่องจาก Proxy ของ ONET เป็น HTTP proxy และ requests จะใช้คำสั่ง CONNECT โดยอัตโนมัติสำหรับเว็บไซต์ที่เป็น HTTPS
- ส่งคำขอ: r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text) ผลลัพธ์ที่ได้ควรเป็น IP ของ Proxy
- ห้ามระบุ "https": "https://IP:PORT" เนื่องจาก Proxy ของ ONET ไม่รับการเชื่อมต่อ TLS เข้ามายังตัว Proxy โดยตรง และจะส่งคืนข้อผิดพลาด SSL หรือตัดการเชื่อมต่อทันที
จะใช้พร็อกซีที่มีอักขระพิเศษในรหัสผ่านบน requests ได้อย่างไร?
แปลงรหัส (URL-encode) username และ password ก่อนนำมารวมกัน: from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}" หากไม่ทำขั้นตอนนี้ อักขระ @ หรือ : ในรหัสผ่านจะทำให้ requests แยกวิเคราะห์ที่อยู่ Proxy ผิดพลาด
การใช้ Session และการลองใหม่
- สร้าง s = requests.Session(); s.proxies.update(proxies) โดยทุกคำขอที่ส่งผ่าน s จะใช้ Proxy ร่วมกันและรักษาการเชื่อมต่อไว้ ซึ่งเร็วกว่าการเรียกใช้ requests.get ซ้ำหลายครั้ง
- ติดตั้ง HTTPAdapter ร่วมกับ Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503]) เพื่อลองส่งคำขอใหม่โดยอัตโนมัติเมื่อเกิดข้อผิดพลาดชั่วคราว
- ควรกำหนด timeout เสมอ เพราะหากไม่มีการตั้ง timeout การเชื่อมต่อที่ค้างอาจทำให้โปรแกรมหยุดทำงานค้างไปตลอดกาล
- ตัวแปรสภาพแวดล้อม HTTPS_PROXY จะถูกอ่านโดย requests เช่นกัน เว้นแต่คุณจะตั้งค่า s.trust_env = False
การใช้งานร่วมกับ httpx
ตั้งแต่ httpx 0.26 ขึ้นไป สามารถส่งค่า Proxy ผ่านพารามิเตอร์ proxy: httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30) เวอร์ชันเก่าจะใช้ proxies={"all://": url} ทั้งนี้ httpx รองรับการทำงานแบบ async (httpx.AsyncClient) หากต้องการส่งคำขอพร้อมกันหลายรายการ
ข้อผิดพลาดของพร็อกซีที่พบบ่อยใน Python requests มีอะไรบ้าง?
ข้อผิดพลาดที่พบบ่อย 3 ประการคือ 407 จากชื่อผู้ใช้หรือรหัสผ่านไม่ถูกต้อง, timeout จากการเชื่อมต่อไปยังพร็อกซีไม่สำเร็จ และ 429 จากการจำกัดอัตราคำขอของเว็บไซต์ปลายทาง
ProxyError … 407 Proxy Authentication Required
username หรือ password ไม่ถูกต้อง หรือไม่ได้แปลงรหัสอักขระพิเศษ
ConnectTimeout หรือ ProxyError … timed out
ไม่สามารถเชื่อมต่อ Proxy ได้: IP หรือ port ไม่ถูกต้อง หรือเกิดการบล็อกในเครือข่าย โปรดตรวจสอบด้วย curl
HTTP 429 จากเว็บไซต์ปลายทาง
ถูกจำกัดอัตราการส่งคำขอ (Rate-limit) โดยเว็บไซต์ปลายทาง ควรลดจำนวนคำขอต่อ IP, หน่วงเวลาเพิ่มขึ้น หรือกระจายโหลดการทำงานไปยังหลายๆ Proxy
ยังไม่มี Proxy? ซื้อ Dedicated Proxy พร้อมเปิดใช้งานอัตโนมัติ
Dedicated IPv4 proxy ครอบคลุม 9 ประเทศ เริ่มต้นเพียง 20.000₫/IP/เดือน เมื่อสั่งซื้อ 2.000 IP ขึ้นไป (39.000₫ สำหรับ 1 IP) พร้อมบริการ Static ISP proxy เวียดนามและสหรัฐอเมริกา รองรับ HTTP(S) และ SOCKS5 ด้วย username และ password แบนด์วิดท์ไม่จำกัด พร้อมเปิดใช้งานอัตโนมัติหลังชำระเงิน โดย Proxy เวียดนามปัจจุบันรองรับเฉพาะ HTTP(S) ยังไม่รองรับ SOCKS5
ซื้อ Proxy ตอนนี้