Një kavanoz cookie-sh i Scrapy i përket një sesioni, jo automatikisht një proxy

Ndryshimi i proxy-t nuk i ndryshon automatikisht cookie-t e merimangës. Kjo mund të jetë e dobishme për një sesion që vazhdon dhe befasuese kur disa sesione të pavarura ndajnë të njëjtën merimangë.

MiddleWare-i i cookie-ve i Scrapy mbështet kavanoza të veçanta të zgjedhura nga metadata cookiejar e kërkesës. Jepini atij çelësi identitetin që synoni të ruani vërtet:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Pika e fundit dhe çelësi i kavanozit janë zgjedhje të pavarura. Një zvarritje publike e paautentikuar mund ta marrë pikën e fundit HTTP të zgjedhur nga lista e proxy-ve HTTP atje ku lejohet ajo rrugë; fluksi i punës vazhdon të zotërojë çelësin e kavanozit. Një kërkesë pasuese që duhet të mbetet në këtë sesion ka nevojë për të njëjtin çelës kavanozi; metadata nuk ngjiten automatikisht në çdo kërkesë të re që krijoni. Përcillni fushat specifike që kërkon fluksi i punës në vend që të kopjoni verbërisht të gjitha metadata e middleware-it.

Përdorimi i adresës së proxy-t si çelës i kavanozit është vetëm një politikë

Ajo shkurtore i grupon gjendjet sipas pikës së fundit. Nuk i grupon domosdoshmërisht sipas personit, llogarisë ose daljes publike. Një pikë e fundit e ofruesit mund të rrotullojë daljet, dhe disa llogari mund të përdorin të njëjtën pikë fundore.

Për një fluks pune të autorizuar që kërkon gjendje të qëndrueshme, shënoni veçmas identifikuesin e llogarisë/sesionit, identifikuesin e kavanozit dhe rrugën e zgjedhur. Nëse vendosni ta ndryshoni rrugën në gjysmë të rrugës, vendosni gjithashtu çfarë duhet të ndodhë me sesionin e aplikacionit.

Kavanozat e veçantë parandalojnë ndarjen aksidentale të cookie-ve midis grupeve që keni përcaktuar. Ata nuk premtojnë se një destinacion nuk mund të lidhë dy kërkesa përmes një llogarie ose të dhënave të tjera të aplikacionit.

Nëse faqja e gabuar vazhdon pas ndryshimit të IP-ve, inspektoni cili kavanoz e dërgoi kërkesën përpara se të fshini të gjitha cookie-t ose të zëvendësoni të gjithë grupin e proxy-ve. Gjendja e mbajtur mund ta shpjegojë faqen fare mirë.