Scrapy kann vísa ávíkjan áðrenn hon verður fylgd

Vís fyribils upprunaligu ávíkjanarstøðu og Location hjá eini GET-ynskjan gjøgnum proxy við ynsktum metadáta, og hald ávíkjanarhandfaring skilt frá HTTP-villufiltrering.

Ein GET-ynskjan gjøgnum proxy kann náa eini ambættari og síðani fylgja ávíkjanum, inntil endaligi feilurin fjalir fyrsta svar. Vís hetta upprunaliga svar til greiningar:

request = scrapy.Request(
    'https://service.example/page',
    callback=inspect_redirect,
    meta={
        'proxy': 'http://proxy.example:8080',
        'dont_redirect': True,
        'handle_httpstatus_list': [301, 302, 303, 307, 308],
    },
)

Set hesa ynskjan í røð gjøgnum verandi byrjan- ella callback-flæðu eiturkoppins. Til eina loyvda kanning av almennari síðu veitir HTTP-proxylistin evni til proxy-URL hjá ynskjuni. inspect_redirect eigur at skrá svarstøðuna og Location-høvdið í staðin fyri at fylgja tí aftur blint.

dont_redirect steðgar sjálvvirkandi ávíkjan fyri hesa ynskjuna. handle_httpstatus_list letur nevndu støðurnar náa callbackini í staðin fyri at verða vrakaðar av HTTP-villufiltrering. Stillingarnar røkka ymiskar middleware-ávirkanir.

Kanna hvat ávíkjanin velur: eina ætlaða kanoniska URL, eitt annað skeið ella vertsnavn, eina innritingssíðu ella eina endurtakandi ringrás. Ein 302 mótikin eftir eydnaða flutning er onnur íakttøka enn at miseydnast at opna proxy-sambandið.

Tá vanlig ávíkjanarhandfaring verður endurreist, vísir Scrapy redirect_urls og redirect_reasons í ynsktum metadáta hjá svarinum. Hesir kunnu varðveita leiðina til eina endaliga úrslit uttan at lata ávíkjanir vera útsløktar fyri alla skríðingina.

Eitt endaligt svar er ikki sjálvvirkandi tann síðan, sum nýtsluskráin ætlaði. Halt málið og svarinnihaldið saman við leiðgreiningini.

Skyldar greinar