Scrapy тегла колачића припада сесији, а не аутоматски проксију

Изаберите јасан идентитет тегле колачића када више прокси токова рада дели једног паука и пренесите тај идентитет на наредне захтеве.

Промена проксија не мења аутоматски паукове колачиће. То може бити корисно за једну трајну сесију, а изненађујуће када више независних сесија дели истог паука.

Scrapyјев middleware за колачиће подржава одвојене тегле које се бирају метаподацима cookiejar захтева. Дајте том кључу идентитет који заиста намеравате да сачувате:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Крајња тачка и кључ тегле су независни избори. Неаутентификовано јавно пузање може своју изабрану HTTP крајњу тачку узети са списка HTTP проксија где је та рута дозвољена; ток рада и даље поседује кључ тегле. Наредни захтев који треба да остане у овој сесији треба исти кључ тегле; метаподаци се не лепе аутоматски на сваки нови захтев који направите. Преносите конкретна поља која ток рада захтева уместо да слепо копирате све метаподатке middleware-а.

Коришћење адресе проксија као кључа тегле само је једна политика

Та пречица групише стање по крајњој тачки. Не групише га нужно по особи, налогу или јавном излазу. Једна крајња тачка провајдера може да ротира излазе, а више налога може да користи исту крајњу тачку.

За овлашћени ток рада коме је потребно стабилно стање, забележите одвојено идентификатор налога/сесије, идентификатор тегле и изабрану руту. Ако одлучите да промените руту на пола пута, одлучите и шта треба да се догоди са сесијом апликације.

Одвојене тегле спречавају случајно дељење колачића између група које сте дефинисали. Оне не обећавају да одредиште не може да повеже два захтева преко налога или других података апликације.

Ако погрешна страница остане и после промене IP адреса, проверите која је тегла послала захтев пре него што избришете све колачиће или замените цео базен проксија. Сачувано стање може сасвим добро да објасни страницу.

Повезани чланци