Proksies per versoek met Scrapy se HTTP-proksie-middleware
Gebruik Scrapy-versoekmetadata en die proksie-middleware voordat jy 'n ou pasgemaakte verifikasie-middleware in 'n kruiper kopieer.
Scrapy se HTTP-proksie-middleware lees 'n proksie uit versoekmetadata:
yield scrapy.Request(
'https://example.com/',
callback=self.parse,
meta={'proxy': 'http://203.0.113.10:8080'},
)Vervang die dokumentasie-eindpunt en hou die middleware geaktiveer. Die HTTP-proksielys bied openbare kandidate vir hierdie versoek-URL. Dit kies die versoek se roete; 'n proksiepoel benodig aparte keuselogika.
Verifikasie volg die gekose eindpunt
Die ingeboude middleware hanteer geloofsbriewe wat deur sy ondersteunde proksie-URL en die gepaardgaande magtigingskop verskaf word. Escape gereserveerde URL-karakters en vermy om daardie URL te log.
'n Aparte middleware moet nie 'n Basic-kop vir die vorige proksie behou nadat die eindpunt verander nie. Laat een laag die roete en sy geloofsbriewe saam bestuur.
Keusevolgorde en verstekke
As pasgemaakte aflaai-middleware die proksie kies, laat dit voor die ingeboude proksie-middleware loop. Kontroleer die geïnstalleerde weergawe se volgorde en API; verouderde scrapy.contrib-invoer hoort by ouer weergawes.
Die prosesomgewing kan ook skema-spesifieke verstekke verskaf. Gebruik die gedokumenteerde spesiale proxy-metadatagedrag vir 'n doelbewuste direkte versoek: 'n afwesige sleutel beteken nie noodwendig direkte toegang nie.
Ondersoek die werklike uitkoms. 'n 407 gaan oor proksie-verifikasie, terwyl 'n webwerf se tempo- of toegangsbeperking eers kan kom nadat die roete korrek gewerk het.