Ceangail am proxy ri iarrtasan ìomhaigh Scrapy

from scrapy.pipelines.images import ImagesPipeline

class ProxiedImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for request in super().get_media_requests(item, info):
            request.meta['proxy'] = 'http://proxy.example:8080'
            yield request

Airson Scrapy 2.13.3, cuir an àite inntrigeadh àbhaisteach ImagesPipeline ann an ITEM_PIPELINES le slighe in-mhalairt an fho-chlas seo. Cùm IMAGES_STORE agus roghainnean eile.

Bidh gairm air a' phàrant a' gleidheadh a raon URL ìomhaigh agus a chuid frithealaidhean air an rèiteachadh. Chan eil an fho-chlas a' cur ach an t-slighe iarrtais ris, a tha HttpProxyMiddleware comasaichte a' cleachdadh. Fuirichidh gach URL ìomhaigh mar a cheann-uidhe. Faodaidh iarrtasan ìomhaighean poblach ùra gun teisteasan proxy inntrigeadh bho liosta proxy HTTP a chleachdadh nuair a cheadaichear an t-slighe sin.

Cumaidh iarrtasan duilleige am poileasaidh fhèin. Le àrainneachd proxy cruinneil, bheir meta={'proxy': None} iarrtas duilleige taghte dìreach san deasachadh seo.

Thoir sùil an deach luchdadh a chur a-mach gu fìor. Faodaidh bualadh tasgadh a' phìoba iarrtas lìonra a sheachnadh. Airson tar-chuiridhean ùra, dèan coimeas eadar inntrigidhean toraidh ìomhaighean crìochnaichte agus na URLan a dh'iarr thu: nochdaidh obrachaidhean soirbheachail an sin, agus faodaidh fàillighean raon URL tùsail na h-ìomhaigh fhàgail làn. Lorg toraidhean a tha a dhìth tro logaichean an luchdaiche agus am proxy a thagh thu.