Twee instellings kan Scrapy se proxy-middelware deaktiveer

Kontroleer die saamgevoegde lys van aflaai-middelware en HTTPPROXY_ENABLED voordat jy nog 'n kopie van Scrapy se ingeboude proxy-middelware byvoeg.

HttpProxyMiddleware hoort by Scrapy se ingeboude aflaai-verstekwaardes. Dit hoef nie in die projek se eie DOWNLOADER_MIDDLEWARES-woordeboek te verskyn om beskikbaar te wees nie.

Daar is twee afsonderlike beheermeganismes om na te gaan:

  • HTTPPROXY_ENABLED bepaal of die ingeboude komponent geaktiveer is.
  • 'n None-waarde vir sy klaspad in DOWNLOADER_MIDDLEWARES verwyder dit uit die saamgevoegde middelware-ketting.

Byvoorbeeld, dit deaktiveer die verstekinskrywing eksplisiet:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

Verwyder daardie oorheersing wanneer die ingeboude komponent moet terugkeer. Moenie 'n ou DOWNLOADER_MIDDLEWARES_BASE-tabel in die projek kopieer net om een inskrywing te herstel nie; Scrapy kombineer sy verstekwaardes met die projek se oorheersings.

'n Geaktiveerde middelware het steeds 'n roete nodig, uit ondersteunde omgewingswaardes of die versoek se proxy-metadata. Die teenwoordigheid daarvan in 'n beginlog is nie op sigself 'n versoektoewysing nie.

Baie ou Scrapy-weergawes het verskil in wanneer die komponent gelaai is sonder proxy-omgewingswaardes. Hou die geïnstalleerde weergawe by die diagnose, eerder as om 'n historiese waarneming uit die 1.3-era as die huidige aktiveringsreël te beskou.

Verwante artikels