Două setări pot dezactiva middleware-ul proxy al Scrapy

Verificați lista combinată de middleware pentru descărcare și HTTPPROXY_ENABLED înainte de a adăuga o altă copie a middleware-ului proxy integrat al Scrapy.

HttpProxyMiddleware face parte din valorile implicite integrate de descărcare ale Scrapy. Nu trebuie să apară în dicționarul DOWNLOADER_MIDDLEWARES al proiectului pentru a fi disponibil.

Există două controale separate de examinat:

  • HTTPPROXY_ENABLED controlează dacă componenta integrată este activată.
  • O valoare None pentru calea clasei în DOWNLOADER_MIDDLEWARES îl elimină din lanțul de middleware combinat.

De exemplu, aceasta dezactivează explicit intrarea implicită:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

Eliminați acea suprascriere când componenta integrată trebuie să revină. Nu copiați un tabel DOWNLOADER_MIDDLEWARES_BASE vechi în proiect doar pentru a restabili o intrare; Scrapy își combină valorile implicite cu suprascrierile proiectului.

Un middleware activat are totuși nevoie de o rută, din valori de mediu acceptate sau din metadatele proxy ale cererii. Prezența lui într-un jurnal de pornire nu este în sine o atribuire de cerere.

Versiunile foarte vechi de Scrapy diferă în privința momentului în care componenta era încărcată fără valori de mediu proxy. Păstrați versiunea instalată împreună cu diagnosticul, în loc să tratați o observație istorică din era 1.3 drept regula actuală de activare.

Articole similare