E Scrapy-Cookie-Jar gehéiert zu enger Sitzung, net automatesch zu engem Proxy

Wielt eng explizit Cookie-Jar-Identitéit, wann e puer Proxy-Workflows een Spider deelen, an drot dës Identitéit op déi nächst Ufroen.

De Proxy ze wiesselen wiesselt net automatesch d’Cookien vum Spider. Dat kann fir eng weiderlafend Sitzung nëtzlech sinn an iwwerraschend, wann e puer onofhängeg Sitzungen dee selwechte Spider deelen.

D’Cookie-Middleware vu Scrapy ënnerstëtzt getrennte Jaren, déi iwwer d’cookiejar-Metadaten vun der Ufro ausgewielt ginn. Gitt deem Schlëssel déi Identitéit, déi Dir tatsächlech wëllt behalen:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Den Endpunkt an de Jar-Schlëssel sinn onofhängeg Choixen. En net authentifizéierte ëffentleche Crawl kann säin ausgewielten HTTP-Endpunkt aus der HTTP-Proxy-Lëscht huelen, wou dëse Wee erlaabt ass; de Workflow besëtzt awer nach ëmmer de Jar-Schlëssel. Eng nächst Ufro, déi an dëser Sitzung bleiwe soll, brauch deeselwechte Jar-Schlëssel; d’Metadaten hänken net automatesch un all nei Ufro, déi Dir erstellt. Gitt déi spezifesch Felder weider, déi de Workflow brauch, amplaz all Middleware-Metadaten blann ze kopéieren.

D’Proxy-Adress als Jar-Schlëssel ze benotzen ass just eng Politik

Dee kuerze Wee gruppéiert den Zoustand nom Endpunkt. Et gruppéiert en net onbedéngt no Persoun, Kont oder ëffentlechem Ausgang. Een Anbieter-Endpunkt kann Ausgäng rotéieren, a méi Konten kënnen deeselwechten Endpunkt benotzen.

Fir en autoriséierte Workflow, deen en stabile Zoustand brauch, notéiert den Kont-/Sitzungs-Identifiant, den Jar-Identifiant an de gewielte Wee getrennt. Wann Dir decidéiert de Wee op hallwem Wee z’änneren, entscheet och wat mat der Applikatiounssitzung soll geschéien.

Getrennte Jaren verhënneren, datt Cookien zoufälleg tëschent de Gruppe gedeelt ginn, déi Dir definéiert hutt. Si verspriechen awer net, datt en Zil net zwee Ufroe iwwer e Kont oder aner Applikatiounsdate ka verbannen.

Wann déi falsch Säit no engem IP-Wiessel bleift, kontrolléiert wéi eng Jar d’Ufro geschéckt huet, ier Dir all Cookien läscht oder de ganze Proxy-Pool ersetzt. De behalene Zoustand kann d’Säit ganz gutt erklären.

Ähnlech Artikelen