Crawlee 3, 프록시 URL을 세션 ID와 짝짓는다

Crawlee 3.14의 ProxyConfiguration 세션 인자로 안정적인 경로 선택을 하고, v4 마이그레이션 문서에서 바뀐 소유권 모델을 고려하세요.

Crawlee 3.14에서 ProxyConfiguration은 세션 식별자를 선택한 프록시 URL과 짝지을 수 있습니다:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP 프록시 목록은 proxyUrls에 쓸 공개 후보를 제공합니다. 같은 세션 ID로 반복 호출하면 그와 짝지어진 URL이 반환됩니다. 세션 ID가 없으면 제공된 목록이 순환합니다. 이것은 설정된 엔드포인트를 고를 뿐이며, 하나의 URL 뒤에서 출구를 돌리는 상위 서비스는 여전히 자체 출구 동작을 제어합니다.

크롤러가 관리하는 세션에는 크롤러의 세션 풀과 쿠키 지속 방식을 사용하세요. maxConcurrency를 1로 낮추는 것은 어떤 요청이 같은 세션에 속하는지 정의하는 일을 대신하지 못합니다.

세션을 폐기하면 새로운 신원 경계가 생깁니다. 로그인이나 여러 단계 작업 중에 한 필드만 돌리는 대신 경로, 쿠키, 작업 부하 상태를 일관되게 유지하세요.

주 버전이 중요합니다. Crawlee의 v4 마이그레이션 문서는 newUrl에서 sessionId 인자를 제거하고 프록시 짝짓기를 Session 소유로 옮깁니다. 위 예제는 의도적으로 v3 인터페이스를 사용합니다. 그 수명 주기를 맞추지 않은 채 인자를 다른 주 버전으로 복사하지 마세요.

관련 글