پیکربندی پایه
- فرمت رشته ip:port:user:pass را به صورت یک URL بنویسید: proxy_url = "http://user:pass@IP:PORT".
- هر دو کلید را تعریف کنید: proxies = {"http": proxy_url, "https": proxy_url}. کلید "https" همچنان به نشانی با شروع //:http اشاره میکند؛ زیرا پروکسیهای ONET از نوع HTTP هستند و requests برای سایتهای HTTPS به طور خودکار از CONNECT استفاده میکند.
- ارسال درخواست: r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text). خروجی باید IP پروکسی باشد.
- عبارت "https": "https://IP:PORT" را ننویسید. پروکسیهای ONET اتصال TLS مستقیم به خود را نمیپذیرند و خطای SSL برگشت داده یا اتصال را قطع میکنند.
چگونه در requests از پروکسیهایی با کاراکترهای خاص در رمز عبور استفاده کنیم؟
پیش از ساخت URL، نام کاربری و رمز عبور را URL-encode کنید: from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}". بدون این مرحله، وجود کاراکترهای @ یا : در رمز عبور باعث تحلیل اشتباه آدرس پروکسی توسط requests خواهد شد.
استفاده از Session و تلاش مجدد (Retries)
- ایجاد نشست: s = requests.Session(); s.proxies.update(proxies). تمام درخواستها از طریق s از همین پروکسی استفاده کرده و اتصال را باز نگه میدارند که بسیار سریعتر از فراخوانی مکرر requests.get است.
- یک HTTPAdapter را همراه با Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503]) متصل کنید تا خطاهای موقت به صورت خودکار دوباره تلاش شوند.
- همیشه timeout را تعیین کنید. بدون timeout، معلق ماندن اتصال میتواند برنامه شما را برای مدت نامحدود متوقف کند.
- متغیر محیطی HTTPS_PROXY نیز توسط requests خوانده میشود، مگر اینکه s.trust_env = False را تنظیم کنید.
با httpx
از نسخه httpx 0.26 به بعد، پروکسی را با پارامتر proxy ارسال کنید: httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30). نسخههای قدیمیتر از proxies={"all://": url} استفاده میکنند. اگر نیاز به اجرای درخواستهای همروند دارید، httpx از حالت ناهمگام (httpx.AsyncClient) پشتیبانی میکند.
کتابخانه requests در Python معمولاً با چه خطاهای پروکسی مواجه میشود؟
سه خطای رایج عبارتند از خطای 407 به دلیل نام کاربری یا رمز عبور اشتباه، اتمام مهلت زمانی ناشی از عدم برقراری ارتباط با پروکسی، و خطای 429 به دلیل محدودیت نرخ درخواست سایت مقصد.
خطای ProxyError … 407 Proxy Authentication Required
نام کاربری یا رمز عبور اشتباه است، یا کاراکترهای خاص انکود نشدهاند.
خطای ConnectTimeout یا ProxyError … timed out
عدم دسترسی به پروکسی: IP یا پورت نادرست است یا مسدودیت شبکه وجود دارد. اتصال را با curl بررسی کنید.
خطای HTTP 429 از سایت مقصد
محدودیت تعداد درخواست (Rate-limit) توسط سایت مقصد اعمال شده است. تعداد درخواستها به ازای هر IP را کاهش دهید، تاخیر اضافه کنید یا بار را میان چندین پروکسی توزیع نمایید.
پروکسی ندارید؟ خرید پروکسی اختصاصی با فعالسازی خودکار
پروکسی اختصاصی IPv4 در 9 کشور از 20.000₫/IP/ماه برای خرید 2.000 IP یا بیشتر (39.000₫ برای 1 IP)، همراه با پروکسی ثابت ISP ویتنام و آمریکا. پروتکلهای HTTP(S) و SOCKS5 با نام کاربری و رمز عبور، ترافیک نامحدود، تحویل آنی پس از پرداخت. پروکسیهای ویتنام در حال حاضر فقط از HTTP(S) پشتیبانی میکنند و فاقد SOCKS5 هستند.
خرید فوری پروکسی