En Scrapy-cookiekrukke tilhører en sesjon, ikke automatisk en proxy

Å bytte proxy bytter ikke automatisk edderkoppens informasjonskapsler. Det kan være nyttig for én fortsatt sesjon og overraskende når flere uavhengige sesjoner deler edderkoppen.

Scrapys informasjonskapsel-mellomvare støtter separate krukker som velges av forespørselens cookiejar-metadata. Gi den nøkkelen den identiteten du faktisk vil bevare:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Endepunktet og krukkenøkkelen er uavhengige valg. En uautentisert offentlig crawl kan hente sitt valgte HTTP-endepunkt fra HTTP-proxylisten der den ruten er tillatt; arbeidsflyten eier fortsatt krukkenøkkelen. En oppfølgingsforespørsel som skal bli i denne sesjonen trenger samme krukkenøkkel; metadataene fester seg ikke automatisk til hver nye forespørsel du lager. Send videre de konkrete feltene arbeidsflyten krever i stedet for å kopiere alle mellomvaremetadata blindt.

Å bruke proxyadressen som krukkenøkkel er bare én policy

Den snarveien grupperer tilstand etter endepunkt. Den grupperer den ikke nødvendigvis etter person, konto eller offentlig utgang. Ett leverandørendepunkt kan rotere utganger, og flere kontoer kan bruke samme endepunkt.

For en autorisert arbeidsflyt som trenger stabil tilstand, registrer konto-/sesjonsidentifikator, krukkeidentifikator og valgt rute hver for seg. Hvis du bestemmer deg for å bytte rute halvveis, må du også bestemme hva som skal skje med applikasjonssesjonen.

Separate krukker hindrer utilsiktet deling av informasjonskapsler mellom gruppene du definerte. De lover ikke at en destinasjon ikke kan koble to forespørsler via en konto eller andre applikasjonsdata.

Hvis feil side vedvarer etter at du har byttet IP-adresser, undersøk hvilken krukke som sendte forespørselen før du sletter alle informasjonskapsler eller bytter ut hele proxy-poolen. Den beholdte tilstanden kan forklare siden ganske godt.