En Scrapy-cookiekruka tillhör en session, inte automatiskt en proxy

Att byta proxy byter inte automatiskt spindelns kakor. Det kan vara användbart för en fortsatt session och överraskande när flera oberoende sessioner delar spindeln.

Scrapys kakmellanprogramvara stöder separata krukor som väljs av förfrågans cookiejar-metadata. Ge den nyckeln den identitet du faktiskt vill bevara:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Slutpunkten och kruknöckeln är oberoende val. En oautentiserad offentlig genomsökning kan hämta sin valda HTTP-slutpunkt från HTTP-proxylistan där den vägen är tillåten; arbetsflödet äger fortfarande kruknöckeln. En uppföljningsförfrågan som ska stanna i den här sessionen behöver samma kruknöckel; metadata fäster inte automatiskt vid varje ny förfrågan du skapar. Skicka vidare de specifika fält som arbetsflödet kräver i stället för att blint kopiera alla mellanprogramvarans metadata.

Att använda proxyadressen som kruknöckel är bara en policy

Den genvägen grupperar tillstånd efter slutpunkt. Den grupperar inte nödvändigtvis efter person, konto eller offentlig utgång. En leverantörsslutpunkt kan rotera utgångar, och flera konton kan använda samma slutpunkt.

För ett auktoriserat arbetsflöde som behöver stabilt tillstånd, registrera konto-/sessionsidentifierare, krukaidentifierare och vald väg var för sig. Om du bestämmer dig för att byta väg halvvägs, bestäm också vad som ska hända med applikationens session.

Separata krukor förhindrar oavsiktlig kakan delning mellan de grupper du definierade. De lovar inte att en destination inte kan koppla ihop två förfrågningar via ett konto eller andra applikationsdata.

Om fel sida kvarstår efter att IP-adresser bytts, undersök vilken kruka som skickade förfrågan innan du raderar alla kakor eller byter ut hela proxy-poolen. Det bevarade tillståndet kan förklara sidan alldeles utmärkt.