Sklenica cookies Scrapy patrí relácii, nie automaticky proxy

Prepnúť proxy neznamená automaticky prepnúť cookies pavúka. Môže to byť užitočné pre jednu pokračujúcu reláciu a prekvapivé, keď viacero nezávislých relácií zdieľa toho istého pavúka.

Middleware cookies v Scrapy podporuje samostatné sklenice vyberané metadátami cookiejar požiadavky. Dajte tomu kľúču identitu, ktorú skutočne chcete zachovať:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Koncový bod a kľúč sklenice sú nezávislé voľby. Neprihlásené verejné prehľadávanie môže vziať svoj zvolený HTTP koncový bod zo zoznamu HTTP proxy tam, kde je táto trasa povolená; pracovný postup stále vlastní kľúč sklenice. Nasledujúca požiadavka, ktorá má zostať v tejto relácii, potrebuje rovnaký kľúč sklenice; metadáta sa automaticky nelepia na každú novú požiadavku, ktorú vytvoríte. Odovzdávajte konkrétne polia, ktoré pracovný postup vyžaduje, namiesto slepého kopírovania všetkých metadát middlewaru.

Používanie adresy proxy ako kľúča sklenice je len jedna politika

Táto skratka zoskupuje stav podľa koncového bodu. Nemusí ho zoskupovať podľa osoby, účtu ani verejného výstupu. Jeden koncový bod poskytovateľa môže striedať výstupy a viacero účtov môže používať rovnaký koncový bod.

Pre autorizovaný pracovný postup, ktorý potrebuje stabilný stav, zaznamenajte oddelene identifikátor účtu/relácie, identifikátor sklenice a zvolenú trasu. Ak sa rozhodnete zmeniť trasu v polovici, rozhodnite aj čo sa má stať s reláciou aplikácie.

Samostatné sklenice bránia náhodnému zdieľaniu cookies medzi skupinami, ktoré ste definovali. Nesľubujú, že cieľ nemôže spojiť dve požiadavky prostredníctvom účtu alebo iných údajov aplikácie.

Ak po zmene IP adries pretrváva nesprávna stránka, preskúmajte, ktorá sklenica požiadavku odoslala, skôr než vymažete všetky cookies alebo vymeníte celý fond proxy. Zachovaný stav môže stránku dokonale vysvetliť.