Dvije postavke mogu onemogućiti Scrapy proxy middleware
Provjerite spojenu listu downloader middleware-a i HTTPPROXY_ENABLED prije nego što dodate još jednu kopiju ugrađenog Scrapy proxy middleware-a.
HttpProxyMiddleware pripada ugrađenim zadanim postavkama za preuzimanje u Scrapy-ju. Ne mora se pojaviti u vlastitom rječniku DOWNLOADER_MIDDLEWARES projekta da bi bio dostupan.
Dvije su odvojene kontrole koje treba pregledati:
- HTTPPROXY_ENABLED kontrolira je li ugrađena komponenta omogućena.
- Vrijednost None za njezinu putanju klase u DOWNLOADER_MIDDLEWARES uklanja je iz spojenog lanca middleware-a.
Na primjer, ovo izričito onemogućuje zadanu stavku:
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}Uklonite to poništavanje kada se ugrađena komponenta treba vratiti. Ne kopirajte staru tablicu DOWNLOADER_MIDDLEWARES_BASE u projekt samo da biste vratili jednu stavku; Scrapy kombinira svoje zadane postavke s poništavanjima projekta.
Omogućeni middleware i dalje treba rutu, iz podržanih vrijednosti okruženja ili iz proxy metapodataka zahtjeva. Njegovo pojavljivanje u početnom dnevniku samo po sebi nije dodjela zahtjeva.
Vrlo stare verzije Scrapy-ja razlikovale su se po tome kada se komponenta učitava bez vrijednosti proxy okruženja. Zadržite instaliranu verziju uz dijagnozu, umjesto da historijsko opažanje iz ere 1.3 smatrate trenutnim pravilom omogućavanja.