Playwright (Node.js, Python)
- 브라우저 실행 시: chromium.launch({ proxy: { server: "http://IP:PORT", username: "user", password: "pass" } }).
- 컨텍스트당 프록시 1개 지정: browser.newContext({ proxy: { server, username, password } }). 단일 브라우저 인스턴스에서 각각 고유한 IP를 가진 여러 컨텍스트를 실행할 수 있어, 브라우저를 여러 개 실행하는 것보다 오버헤드가 훨씬 적습니다.
- Python에서는 딕셔너리를 사용하여 동일한 구조로 설정합니다: p.chromium.launch(proxy={"server": "http://IP:PORT", "username": "user", "password": "pass"}).
- Playwright의 Firefox 및 WebKit에서도 완전히 동일한 프록시 설정을 지원합니다.
Puppeteer
- 명령줄 플래그로 브라우저를 실행합니다: puppeteer.launch({ args: ["--proxy-server=http://IP:PORT"] }).
- 각 페이지에서 page.goto 호출 전에 await page.authenticate({ username: "user", password: "pass" })를 실행합니다.
- 단일 브라우저 내에서 여러 프록시가 필요한 경우, 최신 Puppeteer 버전의 browser.createBrowserContext({ proxyServer: "http://IP:PORT" })를 사용하고 각 페이지에서 page.authenticate를 함께 호출합니다.
- https://api.ipify.org 로 이동하여 응답 본문을 읽어 연결 상태를 확인합니다.
Selenium에서 사용자 이름과 비밀번호가 있는 프록시를 사용할 수 있나요?
네, 하지만 직접적으로는 불가능합니다. ChromeDriver에는 프록시 사용자 이름과 비밀번호를 전달하는 매개변수가 없으며, Chrome의 프록시 인증 대화상자는 표준 Selenium으로 제어할 수 없습니다. 일반적인 해결 방법으로는 http://user:pass@IP:PORT 형식의 프록시를 지원하는 selenium-wire 라이브러리(Python) 사용, 인증 이벤트를 처리하는 작은 Chrome 확장 프로그램을 만들어 시작 시 로드, 또는 프록시 인증 정보가 저장된 프로필로 Firefox 사용 등이 있습니다. 신규 프로젝트라면 Playwright를 사용하는 것이 훨씬 간편합니다.
Playwright와 Puppeteer를 프록시와 함께 장기간 실행할 때 유의할 점은 무엇인가요?
타임아웃을 설정하고 네트워크 오류 발생 시 재시도하도록 구성하며, 작업이 끝나면 페이지와 컨텍스트를 닫고 IP당 동시 세션 수를 제한하여 429 오류를 방지하세요.
- 적절한 탐색 제한 시간(30–60초)을 설정하고 일시적인 네트워크 오류에 대비한 재시도 로직을 구현하세요.
- 유휴 연결 누수를 방지하기 위해 작업이 완료되면 페이지와 컨텍스트를 즉시 닫으세요.
- 단일 IP로 실행되는 동시 세션 수를 제한하세요. 한 주소에서의 요청량이 너무 많으면 대상 서비스에서 429 응답을 반환할 수 있습니다.
- 컨텍스트의 시간대와 언어 설정을 프록시 국가에 맞추세요(Playwright의 timezoneId, locale).
프록시가 필요하신가요? 자동 활성화 전용 프록시를 구매하세요
9개국의 전용 IPv4 프록시를 2.000 IP 이상 구매 시 월 20.000₫/IP부터(1 IP는 39.000₫), 베트남 및 US의 고정 ISP 프록시를 제공합니다. 사용자 이름과 비밀번호 방식의 HTTP(S) 및 SOCKS5 지원, 무제한 대역폭, 결제 후 자동 배포. 단, 베트남 프록시는 현재 HTTP(S) 프로토콜을 사용하며 아직 SOCKS5는 지원하지 않습니다.
지금 프록시 구매하기