Ceangail an seachfhreastalaí le hiarratais íomhá Scrapy

Maisigh na Requests a chruthaíonn ImagesPipeline ionas go bhfaigheann íoslódálacha íomhá seachfhreastalaí gan loighic iarratas an phíblíne a atógáil.

from scrapy.pipelines.images import ImagesPipeline

class ProxiedImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for request in super().get_media_requests(item, info):
            request.meta['proxy'] = 'http://proxy.example:8080'
            yield request

Do Scrapy 2.13.3, cuir ionadaíocht den phíblíne caighdeánach ImagesPipeline in ITEM_PIPELINES le cosán iompórtála an fho-aicme seo. Coinnigh IMAGES_STORE agus socruithe eile.

Caomhnaíonn glao ar an tuismitheoir a réimse URL íomhá agus a chuid aisghlaonna cumraithe. Ní chuireann an fho-aicme ach an bealach iarratais leis, a ídíonn HttpProxyMiddleware cumasaithe. Fanann gach URL íomhá mar a cheann scríbe. Is féidir le hiarratais nua ar íomhánna poiblí gan dintiúirí seachfhreastalaí iontráil ó liosta seachfhreastalaí HTTP a úsáid nuair a cheadaítear an bealach sin.

Coinníonn iarratais leathanaigh a bpolasaí féin. Le timpeallacht seachfhreastalaí domhanda, déanann meta={'proxy': None} iarraidh leathanaigh roghnaithe díreach san eagrán seo.

Seiceáil gur eisíodh íoslódáil i ndáiríre. Is féidir le bualadh taisce píblíne iarraidh líonra a sheachaint. Do aistrithe nua, déan comparáid idir iontrálacha torthaí íomhá críochnaithe agus na URLanna iarrtha: tagann oibríochtaí rathúla chun solais ansin, agus féadann teipeanna réimse URL bunaidh na híomhá a fhágáil líonta. Riantaigh torthaí atá ar iarraidh trí logaí an íoslódálaí agus an seachfhreastalaí roghnaithe.

Ailt ghaolmhara