Ei Scrapy-cookiekrukke høyrer til ei økt, ikkje automatisk til ein proxy

Å bytte proxy byter ikkje automatisk informasjonskapslane til edderkoppen. Det kan vere nyttig for éi økt som held fram og overraskande når fleire uavhengige økter deler edderkoppen.

Informasjonskapsel-mellomvaren i Scrapy støttar separate krukker som blir valde av cookiejar-metadataa i førespurnaden. Gi den nyklen den identiteten du faktisk vil ta vare på:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Endepunktet og krukkenyklen er uavhengige val. Eit uautentisert offentleg gjennomløp kan ta sitt valde HTTP-endepunkt frå HTTP-proxylista der den ruta er tillaten; arbeidsflyten eig framleis krukkenyklen. Ein oppfølgingsførespurnad som skal bli verande i denne økta treng same krukkenykel; metadataa klistrar seg ikkje automatisk på kvar nye førespurnad du lagar. Send vidare dei konkrete felta arbeidsflyten krev i staden for å kopiere alle mellomvaremetadata blindt.

Å bruke proxyadressa som krukkenykel er berre éin politikk

Den snarvvegen grupperer tilstand etter endepunkt. Han grupperer han ikkje nødvendigvis etter person, konto eller offentleg utgang. Eitt leverandørendepunkt kan rotere utgangar, og fleire kontoar kan bruke same endepunkt.

For ein autorisert arbeidsflyt som treng stabil tilstand, registrer konto-/øktidentifikator, krukkeidentifikator og vald rute kvar for seg. Viss du bestemmer deg for å byte rute halvvegs, må du også bestemme kva som skal skje med applikasjonsøkta.

Separate krukker hindrar utilsikta deling av informasjonskapslar mellom gruppene du definerte. Dei lovar ikkje at ein destinasjon ikkje kan kople to førespurnader via ein konto eller andre applikasjonsdata.

Viss feil side blir verande etter at du har bytt IP-adresser, undersøk kva krukke som sende førespurnaden før du slettar alle informasjonskapslar eller byter ut heile proxy-poolen. Den behaldne tilstanden kan forklare sida ganske godt.