Scrapy kin de trochstjoering sjen foardat it dy folget
Meitsje tydlik de begjinstatus fan trochstjoering en de Location fan in proxy-GET bleat fia request-metadata, en hâld ôfhanneling fan trochstjoeringen skieden fan HTTP-flaterfilters.
In proxy-GET kin in server berikke en dan trochstjoeringen folgje oant de úteinlike mislearring it earste antwurd ferberget. Meitsje dat earste antwurd bleat foar diagnose:
request = scrapy.Request(
'https://service.example/page',
callback=inspect_redirect,
meta={
'proxy': 'http://proxy.example:8080',
'dont_redirect': True,
'handle_httpstatus_list': [301, 302, 303, 307, 308],
},
)
Plen dizze oanfraach fia de besteande start- of callback-stream fan 'e spin. Foar in tastiene iepenbiere-side-proef leveret de HTTP-proxylist kandidaten foar de proxy-URL fan 'e oanfraach. inspect_redirect moat de antwurdstatus en de Location-header fêstlizze ynstee fan dy wer blyn te folgjen.
dont_redirect stopet automatyske trochstjoering foar dizze oanfraach. handle_httpstatus_list lit de neamde statussen de callback berikke ynstee fan troch HTTP-flaterfilters wegere te wurden. De ynstellingen geane oer ferskate middleware-ferantwurdlikheden.
Kontrolearje wat de trochstjoering kiest: in bedoelde kanonike URL, in oar skema of hostnamme, in oanmeldside of in weromkommende syklus. In 302 dy't nei suksesfol transport ûntfongen wurdt, is in oare waarnimming as it mislearjen fan it iepenjen fan 'e proxyferbining.
As normale ôfhanneling fan trochstjoeringen werombrocht is, lit Scrapy redirect_urls en redirect_reasons sjen yn 'e request-metadata fan it antwurd. Dy kinne it paad nei in einresultaat bewarje sûnder trochstjoeringen foar de hiele crawl útskeakele te litten.
In einantwurd is net automatysk de side dy't de applikaasje bedoelde. Hâld de bestimming en antwurdynhâld by de routingdiagnoaze.