Ġarra tal-cookies ta’ Scrapy tappartjeni lil sessjoni, mhux awtomatikament lil proxy
Agħżel identità espliċita tal-ġarra tal-cookies meta diversi flussi tax-xogħol bil-proxy jaqsmu spider wieħed, u ġġorr dik l-identità għat-talbiet li jsegwu.
Il-bdil tal-proxy ma jbiddilx awtomatikament il-cookies tal-spider. Dan jista’ jkun utli għal sessjoni waħda li tkompli u sorprendenti meta diversi sessjonijiet indipendenti jaqsmu l-istess spider.
Il-middleware tal-cookies ta’ Scrapy jappoġġja ġarar separati magħżula mill-metadata cookiejar tat-talba. Agħti lil dik iċ-ċavetta l-identità li verament biħsiebek tippreserva:
yield scrapy.Request(
'https://example.com/start',
meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)Il-punt tat-tmiem u ċ-ċavetta tal-ġarra huma għażliet indipendenti. Crawl pubbliku mhux awtentikat jista’ jieħu l-punt tat-tmiem HTTP magħżul tiegħu mil-lista tal-proxy HTTP fejn dik ir-rotta hija permessa; il-fluss tax-xogħol xorta jippossjedi ċ-ċavetta tal-ġarra. Talba li jmiss li għandha tibqa’ f’din is-sessjoni teħtieġ l-istess ċavetta tal-ġarra; il-metadata ma tinqabadx awtomatikament ma’ kull talba ġdida li toħloq. Għaddi l-oqsma speċifiċi li jeħtieġ il-fluss tax-xogħol minflok ma tikkopja bl-addoċċ il-metadata kollha tal-middleware.
L-użu tal-indirizz tal-proxy bħala ċ-ċavetta tal-ġarra hija politika waħda biss
Dak is-shortcut jiġġruppa l-istat skont il-punt tat-tmiem. Mhux bilfors jiġġruppah skont persuna, kont jew ħruġ pubbliku. Punt tat-tmiem wieħed tal-fornitur jista’ jdur il-ħruġ, u diversi kontijiet jistgħu jużaw l-istess punt tat-tmiem.
Għal fluss tax-xogħol awtorizzat li jeħtieġ stat stabbli, innota separatament l-identifikatur tal-kont/sessjoni, l-identifikatur tal-ġarra u r-rotta magħżula. Jekk tiddeċiedi li tibdel ir-rotta f’nofs triq, iddeċiedi wkoll x’għandu jiġri mis-sessjoni tal-applikazzjoni.
Ġarar separati jipprevjenu l-qsim aċċidentali tal-cookies bejn il-gruppi li ddefinixxejt. Ma jwiegħdux li destinazzjoni ma tistax tgħaqqad żewġ talbiet permezz ta’ kont jew data oħra tal-applikazzjoni.
Jekk il-paġna ħażina tibqa’ wara li tbiddel l-IPs, iċċekkja liema ġarra bagħtet it-talba qabel tħassar il-cookies kollha jew tibdel il-pool tal-proxy kollu. L-istat miżmum jista’ jispjega l-paġna pjuttost tajjeb.