Sklenice cookies Scrapy patří relaci, ne automaticky proxy

Přepnutí proxy automaticky nepřepne cookies pavouka. Může to být užitečné pro jednu pokračující relaci a překvapivé, když několik nezávislých relací sdílí stejného pavouka.

Middleware cookies ve Scrapy podporuje samostatné sklenice vybírané metadaty cookiejar požadavku. Dejte tomu klíči identitu, kterou skutečně hodláte zachovat:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Koncový bod a klíč sklenice jsou nezávislé volby. Nepřihlášené veřejné procházení může vzít svůj zvolený HTTP koncový bod ze seznamu HTTP proxy tam, kde je tato trasa povolena; pracovní postup přesto vlastní klíč sklenice. Navazující požadavek, který má zůstat v této relaci, potřebuje stejný klíč sklenice; metadata se automaticky nepřilepí ke každému novému požadavku, který vytvoříte. Předávejte konkrétní pole, která pracovní postup vyžaduje, místo abyste slepě kopírovali všechna metadata middlewaru.

Použití adresy proxy jako klíče sklenice je jen jedna politika

Tato zkratka seskupuje stav podle koncového bodu. Nemusí ho seskupovat podle osoby, účtu ani veřejného výstupu. Jeden koncový bod poskytovatele může střídat výstupy a několik účtů může používat stejný koncový bod.

U autorizovaného pracovního postupu, který potřebuje stabilní stav, zaznamenejte odděleně identifikátor účtu/relace, identifikátor sklenice a zvolenou trasu. Pokud se rozhodnete změnit trasu v polovině, rozhodněte také co se má stát s relací aplikace.

Samostatné sklenice brání náhodnému sdílení cookies mezi skupinami, které jste definovali. Neslibují, že cíl nemůže spojit dva požadavky prostřednictvím účtu nebo jiných dat aplikace.

Pokud po změně IP přetrvává špatná stránka, prozkoumejte, která sklenice požadavek odeslala, dříve než smažete všechny cookies nebo vyměníte celý fond proxy. Zachovaný stav může stránku dokonale vysvětlit.