두 가지 설정으로 Scrapy의 프록시 미들웨어를 비활성화할 수 있습니다

Scrapy의 내장 프록시 미들웨어를 또 하나 복사해 추가하기 전에 병합된 다운로더 미들웨어 목록과 HTTPPROXY_ENABLED를 확인하세요.

HttpProxyMiddleware는 Scrapy의 내장 다운로더 기본값에 속합니다. 사용 가능하게 하려고 프로젝트 자체의 DOWNLOADER_MIDDLEWARES 사전에 나타날 필요는 없습니다.

확인해야 할 별개의 제어가 두 가지 있습니다.

  • HTTPPROXY_ENABLED는 내장 구성 요소가 활성화되는지를 제어합니다.
  • DOWNLOADER_MIDDLEWARES에서 해당 클래스 경로에 None 값을 지정하면 병합된 미들웨어 체인에서 제거됩니다.

예를 들어 다음은 기본 항목을 명시적으로 비활성화합니다.

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

내장 구성 요소를 되돌려야 할 때는 그 재정의를 제거하세요. 항목 하나를 복원하려고 오래된 DOWNLOADER_MIDDLEWARES_BASE 표를 프로젝트에 복사하지 마세요. Scrapy는 기본값과 프로젝트 재정의를 결합합니다.

활성화된 미들웨어도 지원되는 환경 값이나 요청의 프록시 메타데이터에서 경로를 얻어야 합니다. 시작 로그에 나타나는 것 자체가 요청 할당은 아닙니다.

아주 오래된 Scrapy 릴리스는 프록시 환경 값 없이 구성 요소가 로드되는 시점이 달랐습니다. 1.3 시대의 역사적 관찰을 현재의 활성화 규칙으로 취급하지 말고, 설치된 버전을 진단과 함께 기록하세요.

관련 글