Scrapy proxy millilag: Request og None sem skilagildi

Proxy slóðin breytist í annálnum. Áfangastaðurinn birtist aldrei í aðgangsannál proxyins. Athugaðu hvort millilagið þitt hleypir beiðninni yfirhöfuð til niðurhalsins.

Í niðurhalsmillilagi Scrapy þýðir það að skila Request að beiðnin er tímasett aftur. Það þýðir ekki „haltu áfram að senda þennan hlut með lýsigögnunum sem ég breytti rétt íþú“.

Fyrir veljara sem velur aðeins leið er mikilvæga formið:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

Þetta brot sýnir núverandi form króksins; notaðu millilagsviðmótið sem uppsetta Scrapy útgáfan styður. Veljarinn verður að skila gildum endapunkti og meðhöndla óaðgengilegt safn skýrt. Opinber skoppun sem leyfir opinbera milliliði getur sótt HTTP frambjóðendur úr HTTP proxy listanum fyrir það skilagildi.

Að skila None leyfir afganginum af beiðnarmillilaginu og niðurhalinu að halda áfram. Að skila annarri Request er gagnlegt þegar þú skiptir eða reynir verk aftur viljandi, en það þarf ástæðu og útgangsskilyrði.

Snúningur sem skilar sömu beiðni í hvert sinn getur keyrt eigin valkóða sinn aftur og aftur án þess að gera nokkurn tíma tengingu við áfangastað. Að hækka tímatökumörk eða opna fleiri proxy gáttir getur ekki lagað þá stjórnflæðislykkju.

Skoðaðu inngöngu í millilagið, skilhegðun og fyrstu raunverulegu nettilraunina sem aðskilda atburði. Annáll sem segir „proxy valið“ sannar aðeins að veljarinn hafi keyrt. Hann sannar ekki að beiðni með völdu endapunktinum hafi verið send.