Een Scrapy-cookiepot hoort bij een sessie, niet automatisch bij een proxy
Kies een expliciete cookiepot-identiteit wanneer meerdere proxyworkflows één spider delen, en draag die identiteit over naar vervolgaanvragen.
Het wisselen van proxy wisselt niet automatisch de cookies van de spider. Dat kan nuttig zijn voor één doorlopende sessie en verrassend wanneer meerdere onafhankelijke sessies dezelfde spider delen.
De cookiemiddleware van Scrapy ondersteunt afzonderlijke potten die door de cookiejar-metadata van het verzoek worden gekozen. Geef die sleutel de identiteit die u werkelijk wilt bewaren:
yield scrapy.Request(
'https://example.com/start',
meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)Het eindpunt en de potsleutel zijn onafhankelijke keuzes. Een niet-geauthenticeerde openbare crawl kan zijn gekozen HTTP-eindpunt uit de HTTP-proxylijst halen waar die route is toegestaan; de workflow bezit nog steeds de potsleutel. Een vervolgaanvraag die in deze sessie moet blijven heeft dezelfde potsleutel nodig; de metadata kleeft niet automatisch aan elk nieuw verzoek dat u maakt. Geef de specifieke velden door die de workflow vereist in plaats van blind alle middleware-metadata te kopiëren.
Het proxyadres als pot sleutel gebruiken is slechts één beleid
Die snelkoppeling groepeert toestand per eindpunt. Het groepeert die niet noodzakelijk per persoon, account of openbare uitgang. Eén provider-eindpunt kan uitgangen roteren, en meerdere accounts kunnen hetzelfde eindpunt gebruiken.
Voor een geautoriseerde workflow die stabiele toestand nodig heeft, noteer je de account-/sessie-identificatie, de potidentificatie en de gekozen route afzonderlijk. Als je besluit de route halverwege te wijzigen, beslis dan ook wat er met de applicatiesessie moet gebeuren.
Afzonderlijke potten voorkomen per ongeluk gedeelde cookies tussen de groepen die je hebt gedefinieerd. Ze beloven niet dat een bestemming twee verzoeken niet via een account of andere applicatiegegevens kan relateren.
Als de verkeerde pagina blijft bestaan na het wisselen van IP’s, controleer dan welke pot het verzoek heeft verzonden voordat je alle cookies verwijdert of de hele proxypool vervangt. De bewaarde toestand kan de pagina heel goed verklaren.