Βασική παραμετροποίηση
- Μορφοποιήστε τη συμβολοσειρά ip:port:user:pass σε URL: proxy_url = "http://user:pass@IP:PORT".
- Δηλώστε και τα δύο κλειδιά: proxies = {"http": proxy_url, "https": proxy_url}. Το κλειδί "https" εξακολουθεί να δείχνει σε URL που ξεκινά με http:// επειδή τα proxies της ONET είναι HTTP proxies· η βιβλιοθήκη requests χρησιμοποιεί αυτόματα τη μέθοδο CONNECT για ιστότοπους HTTPS.
- Στείλτε το αίτημα: r = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)); print(r.text). Το αποτέλεσμα θα πρέπει να είναι η IP του proxy.
- Μη γράφετε "https": "https://IP:PORT". Τα proxies της ONET δεν δέχονται συνδέσεις TLS απευθείας προς τα ίδια και θα επιστρέψουν σφάλμα SSL ή θα τερματίσουν τη σύνδεση.
Πώς χρησιμοποιείτε proxies με ειδικούς χαρακτήρες στον κωδικό πρόσβασης στη βιβλιοθήκη requests;
Κωδικοποιήστε με URL-encode το όνομα χρήστη και τον κωδικό πρόσβασης πριν από τη σύνθεση: from urllib.parse import quote; proxy_url = f"http://{quote(user, safe='')}:{quote(pw, safe='')}@{ip}:{port}". Χωρίς αυτό το βήμα, χαρακτήρες όπως @ ή : στον κωδικό πρόσβασης θα προκαλέσουν εσφαλμένη ανάλυση της διεύθυνσης του proxy από τη requests.
Χρήση Session και επαναλήψεων (retries)
- Δημιουργήστε s = requests.Session(); s.proxies.update(proxies). Όλα τα αιτήματα μέσω του s μοιράζονται το proxy και διατηρούν ενεργές τις συνδέσεις, κάτι που είναι ταχύτερο από τις επαναλαμβανόμενες κλήσεις requests.get.
- Προσαρτήστε έναν HTTPAdapter με Retry(total=3, backoff_factor=1, status_forcelist=[429, 502, 503]) για αυτόματη επανάληψη σε παροδικά σφάλματα.
- Ορίζετε πάντα timeout. Χωρίς timeout, μια σύνδεση που καθυστερεί μπορεί να παγώσει το πρόγραμμά σας επ' αόριστον.
- Η μεταβλητή περιβάλλοντος HTTPS_PROXY διαβάζεται επίσης από τη requests, εκτός εάν ορίσετε s.trust_env = False.
Με httpx
Από την έκδοση httpx 0.26 και μετά, περάστε το proxy χρησιμοποιώντας την παράμετρο proxy: httpx.Client(proxy="http://user:pass@IP:PORT", timeout=30). Οι παλαιότερες εκδόσεις χρησιμοποιούν proxies={"all://": url}. Το httpx υποστηρίζει ασύγχρονη λειτουργία (httpx.AsyncClient) εάν χρειάζεται να εκτελείτε ταυτόχρονα αιτήματα.
Ποια σφάλματα proxy αντιμετωπίζει συνήθως η Python requests;
Τα τρία κοινά σφάλματα είναι το 407 λόγω εσφαλμένου ονόματος χρήστη ή κωδικού πρόσβασης, τα timeouts λόγω αδυναμίας προσέγγισης του proxy και το 429 από τα όρια ρυθμού αιτημάτων του ιστότοπου προορισμού.
ProxyError … 407 Proxy Authentication Required
Εσφαλμένο όνομα χρήστη ή κωδικός πρόσβασης, ή δεν κωδικοποιήθηκαν οι ειδικοί χαρακτήρες.
ConnectTimeout ή ProxyError … timed out
Αδυναμία σύνδεσης με το proxy: εσφαλμένη IP, θύρα ή αποκλεισμός δικτύου. Επαληθεύστε τη σύνδεση μέσω curl.
HTTP 429 από τη σελίδα προορισμού
Εφαρμογή ορίου ρυθμού αιτημάτων (rate limit) από τον ιστότοπο προορισμού. Μειώστε τα αιτήματα ανά IP, προσθέστε καθυστερήσεις ή κατανείμετε το φορτίο σε πολλαπλά proxies.
Δεν έχετε proxy; Αγοράστε dedicated proxies με αυτόματη ενεργοποίηση
Dedicated IPv4 proxies σε 9 χώρες από 20.000₫/IP/μήνα για αγορά 2.000 IP ή περισσότερων (39.000₫ για 1 IP), καθώς και static ISP proxies σε Βιετνάμ και US. HTTP(S) και SOCKS5 με όνομα χρήστη και κωδικό πρόσβασης, απεριόριστο bandwidth, με αυτόματη παράδοση μετά την πληρωμή. Τα proxies Βιετνάμ υποστηρίζουν προς το παρόν μόνο HTTP(S), χωρίς SOCKS5.
Αγοράστε proxies τώρα