’n Scrapy-koekiehouer hoort aan ’n sessie, nie outomaties aan ’n proxy nie
Kies ’n eksplisiete koekiehouer-identiteit wanneer verskeie proxy-werksvloei een spinnekop deel, en dra daardie identiteit oor na opvolgversoeke.
Om die proxy te wissel, wissel nie outomaties die spinnekop se koekies nie. Dit kan nuttig wees vir een deurlopende sessie en verrassend wanneer verskeie onafhanklike sessies dieselfde spinnekop deel.
Scrapy se koekiemiddleware ondersteun aparte houers wat deur die versoek se cookiejar-metadata gekies word. Gee daardie sleutel die identiteit wat jy werklik wil behou:
yield scrapy.Request(
'https://example.com/start',
meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)Die eindpunt en die houersleutel is onafhanklike keuses. ’n Ongeauthentiseerde publieke kruip kan sy gekose HTTP-eindpunt uit die HTTP-proxylys neem waar daardie roete toegelaat word; die werksvloei besit steeds die houersleutel. ’n Opvolgversoek wat in hierdie sessie moet bly, benodig dieselfde houersleutel; die metadata is nie outomaties klewerig vir elke nuwe versoek wat jy skep nie. Dra die spesifieke velde oor wat die werksvloei vereis eerder as om alle middleware-metadata blindelings te kopieer.
Om die proxy-adres as die houersleutel te gebruik, is slegs een beleid
Daardie kortpad groepeer toestand per eindpunt. Dit groepeer dit nie noodwendig per persoon, rekening of publieke uitgang nie. Een verskaffereindpunt kan uitgange roteer, en verskeie rekeninge kan dieselfde eindpunt gebruik.
Vir ’n gemagtigde werksvloei wat stabiele toestand nodig het, teken die rekening-/sessie-identifiseerder, houeridentifiseerder en gekose roete afsonderlik aan. As jy besluit om die roete halfpad te verander, besluit ook wat met die toepassingsessie moet gebeur.
Aparte houers verhoed toevallige koekiedeling tussen die groepe wat jy gedefinieer het. Hulle belowe nie dat ’n bestemming nie twee versoeke deur ’n rekening of ander toepassingsdata kan verbind nie.
As die verkeerde bladsy bly nadat jy IP’s verander het, ondersoek watter houer die versoek gestuur het voordat jy elke koekie uitvee of die hele proxy-poel vervang. Die behoue toestand kan die bladsy heeltemal goed verklaar.