Puhverserver üheks päringuks Scrapy shellis

Scrapy shellis koostage päring, mille soovite, et allalaadija teeks:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware loeb puhverserveri väärtuse selle Requesti metaandmetest. See peab olema lubatud aktiivse allalaadija vahevara konfiguratsioonis. Muutuja response kuulub seejärel sellele päringule. Selle avaliku URL-i jaoks valige autentimata HTTP-aadress HTTP puhverserverite loendist, kui avalikud vahendajad on lubatud, ja seejärel asetage selle URL selle päringu puhverserveri metaandmetesse.

Shelli käivitamine Scrapy projektist lubab sellel laadida selle projekti konfiguratsiooni. See valib vahevara ja muud seaded; see ei vali ise konkreetset puhverserveri lõpp-punkti. Ülaltoodud päringu metaandmed annavad selle valiku otse.

Basic-mandaatidega puhverserveri puhul dokumenteerib Scrapy kasutajateabe puhverserveri URL-is. Enne selle koostamist kodeerige kontokomponentides reserveeritud märgid. Selle konto jaoks pole vaja lisada veebisaidi Authorization päist.

Scrapy saab puhverservereid leida ka toetatud keskkonnamuutujatest. Päringu selgesõnalistel puhverserveri metaandmetel on prioriteet. Tahtlikult otsese päringu puhul keelab puhverserveri väärtus None selle vahevara keskkonnapõhise valiku päringu jaoks.