Proksiji po zahtjevu uz HTTP proxy middleware u Scrapyju

Koristite metapodatke Scrapy zahtjeva i njegov proxy middleware prije nego stari prilagođeni middleware za autentifikaciju kopirate u crawler.

Scrapyjev HTTP proxy middleware čita proksi iz metapodataka zahtjeva:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Zamijenite endpoint iz dokumentacije i ostavite middleware uključen. Lista HTTP proksija nudi javne kandidate za URL ovog zahtjeva. Time se bira ruta zahtjeva; proksi pool zahtijeva posebnu logiku odabira.

Autentifikacija slijedi odabrani endpoint

Ugrađeni middleware obrađuje vjerodajnice dostavljene kroz podržani URL proksija i povezano zaglavlje autorizacije. Izbjegnite rezervisane URL znakove i ne bilježite taj URL u logove.

Odvojeni middleware ne bi trebao zadržati Basic zaglavlje za prethodni proksi nakon promjene endpointa. Neka jedan sloj upravlja rutom i njenim vjerodajnicama zajedno.

Redoslijed odabira i zadane vrijednosti

Ako prilagođeni downloader middleware bira proksi, pokrenite ga prije nego ugrađeni proxy middleware obradi zahtjev. Provjerite redoslijed i API instalirane verzije; zastarjeli scrapy.contrib uvozi pripadaju starijim verzijama.

Okruženje procesa također može dati zadane vrijednosti specifične za shemu. Za namjerno direktan zahtjev koristite dokumentirano posebno ponašanje metapodataka proxy: odsutan ključ ne znači nužno direktan pristup.

Provjerite stvarni ishod. 407 se odnosi na autentifikaciju proksija, dok ograničenje brzine ili zabrana pristupa web stranice mogu doći nakon što je ruta ispravno radila.

Povezani članci