Set proksy á myndafyrispurningar Scrapy

Skreyta teir Requests, sum ImagesPipeline ger, so myndaniðurtøkur fáa proksy uttan at byggja fyrispurningalogikina hjá pipeline uppaftur.

from scrapy.pipelines.images import ImagesPipeline

class ProxiedImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for request in super().get_media_requests(item, info):
            request.meta['proxy'] = 'http://proxy.example:8080'
            yield request

Fyri Scrapy 2.13.3, skift út vanliga ImagesPipeline-færsluna í ITEM_PIPELINES við innflutningsleiðina hjá hesum undirflokki. Varðveit IMAGES_STORE og aðrar stillingar.

At kalla foreldrið varðveitir uppsetta mynd-URL-økið og afturkullingarnar. Undirflokkurin leggur bert fyrispurningaleiðina afturat, sum tendrað HttpProxyMiddleware nýtir. Hvør mynd-URL verður verandi mál sítt. Nýggir fyrispurningar um almennar myndir uttan proksy-innskrívingar kunnu brúka eina færslu úr HTTP-proksylistanum, tá ið tann leiðin er loyvd.

Síðufyrispurningar varðveita sína egnu politikk. Við altjóða proksy-umhvørvi ger meta={'proxy': None} ein útvaldan síðufyrispurning beinleiðis í hesi útgávu.

Kanna, um ein niðurtøka veruliga varð send. Eitt pipeline-skygdumørk kann sleppa einum netverksfyrispurningi. Fyri nýggjar flytingar, samanber úrslitsfærslurnar hjá liðnum myndum við umbidnar URL-ir: eydnaðar handlingar síggjast har, meðan mistøk kunnu lata uppruna mynd-URL-økið fylt. Fylg eftir manglandi úrslitum gjøgnum logs hjá niðurtakaranum og tann útvalda proksyn.

Skyldar greinar