Proxy's per fersyk mei Scrapy's HTTP-proxy-middelware
Brûk Scrapy-fersyksetadata en syn proxy-middelware foardat jo in âlde oanpaste autentikaasje-middelware yn in crawler kopiearje.
Scrapy's HTTP-proxy-middelware lêst in proxy út de fersyksetadata:
yield scrapy.Request(
'https://example.com/',
callback=self.parse,
meta={'proxy': 'http://203.0.113.10:8080'},
)Ferfange it dokumintaasje-einpunt en hâld de middelware ynskeakele. De HTTP-proxylist biedt iepenbiere kandidaten foar de URL fan dit fersyk. Dit kiest de rûte fan it fersyk; in proxypool hat aparte seleksjelogika nedich.
Autentikaasje folget it keazen einpunt
De ynboude middelware behannelt bewiisgegevens dy't oanlevere wurde fia syn stipe proxy-URL en de byhearrende autorisaasje-header. Escape reservearre URL-tekens en foarkom dat jo dy URL logge.
In aparte middelware moat nei it feroarjen fan it einpunt gjin Basic-header foar de foarige proxy behâlde. Lit ien laach de rûte en har bewiisgegevens tegearre beheare.
Seleksje-oarder en standertwearden
As oanpaste downloader-middelware de proxy kiest, rin it dan foardat de ynboude proxy-middelware it fersyk ferwurket. Kontrolearje de oarder en API fan 'e ynstallearre ferzje; ferâldere scrapy.contrib-ymporten hearre by âldere ferzjes.
De prosesomjouwing kin ek skema-spesifike standertwearden leverje. Brûk foar in bewust direkte fersyk it dokumintearre spesjale gedrach fan 'e proxy-metadata: in ûntbrekkende kaai betsjut net needsaaklikerwize direkte tagong.
Undersykje it werklike resultaat. In 407 giet oer proxy-autentikaasje, wylst in taryflimyt of tagongswegering fan in website komme kin nei't de rûte korrekt wurke hat.