A Scrapy sütisdobo egy munkamenethez tartozik, nem automatikusan egy proxyhoz
Válasszon kifejezett sütisdobo-identitást, amikor több proxy-munkafolyamat osztozik egy pókon, és vigye tovább ezt az identitást a további kérésekbe.
A proxy váltása nem váltja automatikusan a pók sütijeit. Ez hasznos lehet egy folytatódó munkamenethez, és meglepő, amikor több független munkamenet osztozik ugyanazon a pókon.
A Scrapy süti-köztesrétege külön dobokat támogat, amelyeket a kérés cookiejar metaadattagja választ ki. Adja ennek a kulcsnak azt az identitást, amelyet valóban meg akar őrizni:
yield scrapy.Request(
'https://example.com/start',
meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)A végpont és a dobkulcs független döntések. Egy hitelesítetlen nyilvános bejárás a kiválasztott HTTP végpontját az HTTP proxy listáról veheti, ahol ezt az útvonalat engedélyezik; a munkafolyamat továbbra is a dobkulcs birtokosa. Egy olyan további kérésnek, amelynek ebben a munkamenetben kell maradnia, ugyanaz a dobkulcs kell; a metaadatok nem tapadnak automatikusan minden új kéréshez, amelyet létrehoz. A munkafolyamat által igényelt konkrét mezőket adja tovább, ahelyett hogy vakon másolná a köztesréteg összes metaadatát.
A proxy címének dobkulcsként használata csak egy szabály
Ez a rövidítés végpont szerint csoportosítja az állapotot. Nem feltétlenül csoportosítja személy, fiók vagy nyilvános kimenet szerint. Egy szolgáltatói végpont válthatja a kimeneteket, és több fiók használhatja ugyanazt a végpontot.
Egy stabil állapotot igénylő, engedélyezett munkafolyamatnál külön jegyezze fel a fiók/munkamenet azonosítót, a dob azonosítót és a kiválasztott útvonalat. Ha úgy dönt, hogy félúton módosítja az útvonalat, döntsön arról is, mi történjen az alkalmazás munkamenetével.
A külön dobok megakadályozzák a sütik véletlen megosztását az Ön által meghatározott csoportok között. Nem ígérik meg, hogy egy cél nem tud két kérést fiók vagy más alkalmazásadatok révén összekapcsolni.
Ha az IP-k módosítása után is a rossz oldal marad, vizsgálja meg, melyik dob küldte a kérést, mielőtt töröl minden sütit vagy lecserélne a teljes proxykészletet. A megőrzött állapot tökéletesen megmagyarázhatja az oldalt.