Scrapy puhverserveri vahetarkvara: Request ja None tagastusväärtused

Puhverserveri aadress muutub logis. Sihtkoht ei ilmu kunagi puhverserveri juurdepääsulogis. Kontrollige, kas teie vahetarkvara laseb päringul üldse allalaadijani jõuda.

Scrapy allalaadija vahetarkvaras tähendab Requesti tagastamine selle päringu uuesti ajastamist. See ei tähenda „jätkake selle objekti saatmist metadataga, mida ma just muutsin“.

Valija puhul, mis valib ainult marsruudi, on oluline vorm:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

See katkend näitab praegust konksu vormi; kasutage vahetarkvara liidest, mida paigaldatud Scrapy väljaanne toetab. Valija peab tagastama kehtiva lõpp-punkti ja käsitlema kättesaamatut pooli selgesõnaliselt. Avalik roomamine, mis lubab avalikke vahendajaid, võib selle tagastusväärtuse jaoks võtta HTTP kandidaate HTTP puhverserverite loendist.

None'i tagastamine laseb ülejäänud päringu vahetarkvaral ja allalaadijal jätkata. Teise Requesti tagastamine on kasulik, kui asendate või kordate tööd tahtlikult, kuid see vajab põhjust ja väljumistingimust.

Rotatsioonimehhanism, mis tagastab iga kord sama päringu, võib oma valikukoodi korduvalt käivitada, ilma et see kunagi sihtkohaga ühendust looks. Timeoutide suurendamine või täiendavate puhverserveri portide avamine ei paranda seda juhtimisvoo tsüklit.

Uurige vahetarkvara sisenemist, tagastuskäitumist ja esimest tegelikku võrgukatset eraldi sündmustena. Logirida „puhverserver valitud“ tõestab ainult, et valija töötas. See ei tõesta, et valitud lõpp-punktiga päring saadeti.