In Scrapy-koekjepot heart by in sesje, net automatysk by in proxy
Kies in eksplisite koekjepot-identiteit wannear’t ferskate proxy-wurkgongen ien spinne diele, en drage dy identiteit mei nei folgjende oanfragen.
Fan proxy feroarje feroaret de koekjes fan ’e spinne net automatysk. Dat kin nuttich wêze foar ien trochgeande sesje en ferrassend as ferskate ûnôfhinklike sesjes deselde spinne diele.
De koekjesmiddleware fan Scrapy stipet aparte potten dy’t keazen wurde troch de cookiejar-metadata fan ’e oanfraach. Jou dy kaai de identiteit dy’t jo eins behâlde wolle:
yield scrapy.Request(
'https://example.com/start',
meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)It einpunt en de potkaai binne ûnôfhinklike karren. In net-autentisearre iepenbiere crawl kin syn keazen HTTP-einpunt út ’e HTTP-proxylist nimme dêr’t dy rûte tastien is; de wurkgong besit noch altyd de potkaai. In folgjende oanfraach dy’t yn dizze sesje bliuwe moat hat deselde potkaai nedich; de metadata plakke net automatysk oan elke nije oanfraach dy’t jo meitsje. Jou de konkreeet fjilden troch dy’t de wurkgong freget, ynstee fan alle middleware-metadata blyn te kopiearjen.
It proxy-adres as potkaai brûke is mar ien belied
Dy flugge wei groepearret steat per einpunt. It groepearret dy net needsaaklikerwize per persoan, akkount of iepenbiere útgong. Ien oanbieder-einpunt kin útgongen rotearje, en ferskate akkounts kinne itselde einpunt brûke.
Foar in autorisearre wurkgong dy’t stabile steat nedich hat, registrearje it akkount-/sesje-identifikaasje, it pot-identifikaasje en de keazen rûte apart. As jo beslute de rûte healwei te feroarjen, beslute dan ek wat der mei de applikaasjesesje barre moat.
Aparte potten foarkomme tafallich dielde koekjes tusken de groepen dy’t jo definiearre hawwe. Se ûnthjitte net dat in bestimming twa oanfragen net fia in akkount of oare applikaasjegegevens ferbine kin.
As de ferkearde side bliuwt nei it feroarjen fan IP’s, ûndersykje dan hokker pot de oanfraach stjoerd hat foardat jo alle koekjes wiskje of de hiele proxypool ferfange. De bewarre steat kin de side hiel goed ferklearje.