dont_proxy는 Scrapy의 proxy 필드를 지우지 않는다

요청은 사용자 정의 proxy 미들웨어를 건너뛰면서도 메타데이터에 활성 proxy URL을 그대로 담을 수 있습니다. Scrapy의 내장 HttpProxyMiddleware는 meta["proxy"]를 읽지만 일반적인 dont_proxy 플래그는 해석하지 않습니다.

직접 연결되어야 하는 요청의 경우 명시적으로 설정하십시오:

request.meta["proxy"] = None

명시적인 None은 내장 미들웨어가 해당 요청에 대해 환경 설정에서 proxy를 선택하지 못하게 합니다. 키를 삭제하기만 하면 그 자동 선택이 다시 허용됩니다.

다른 설치된 미들웨어가 dont_proxy를 사용한다면 문서화된 용도를 위해 그 플래그도 유지하십시오. 이후 구성 요소가 다시 proxy URL을 할당하지 않도록 미들웨어 순서를 조정하십시오. 경로를 선택할 수 있는 마지막 구성 요소 이후에 메타데이터를 확인하십시오.

사용자 정의 우회 플래그를 설정한 뒤의 407은 proxy 경로가 남아 있음과 일치하지만, 상태만으로는 어느 미들웨어가 그것을 선택했는지 알 수 없습니다. 모든 구성 요소가 같은 제외 어휘를 공유한다고 가정하지 말고 해당 요청의 처리 과정 전반에서 실제로 적용되는 proxy 필드를 추적하십시오.