Банка кукаў Scrapy належыць сесіі, а не аўтаматычна проксі

Змена проксі не змяняе кукі павука аўтаматычна. Гэта можа быць карысна для адной бесперапыннай сесіі і нечакана, калі некалькі незалежных сесій дзеляць аднаго павука.

Прамежкавае ПЗ кукаў Scrapy падтрымлівае асобныя банкі, якія выбіраюцца праз метаданыя cookiejar запыту. Дайце гэтаму ключу тую ідэнтычнасць, якую вы сапраўды хочаце захаваць:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Канцавы пункт і ключ банкі — незалежныя выбары. Неаўтэнтыфікаваны публічны абыход можа ўзяць абраны HTTP-канец з спісу HTTP-проксі там, дзе гэты маршрут дазволены; працэс усё роўна валодае ключом банкі. Наступны запыт, які павінен застацца ў гэтай сесіі, мае патрэбу ў тым самым ключы банкі; метаданыя не прыліпаюць аўтаматычна да кожнага новага запыту, які вы ствараеце. Перадавайце канкрэтныя палі, патрэбныя працэсу, замест сляпога капіявання ўсіх метаданых прамежкавага ПЗ.

Выкарыстанне адрасу проксі ў якасці ключа банкі — толькі адна палітыка

Гэты скарог згортвае стан па канцавым пункце. Ён не абавязкова групуе яго па чалавеку, уліковым запісе ці публічным выхадзе. Адзін канец правайдэра можа змяняць выхады, а некалькі ўліковых запісаў могуць выкарыстоўваць той самы канец.

Для аўтарызаванага працэсу, якому патрэбны стабільны стан, запісвайце ідэнтыфікатар уліковага запісу/сесіі, ідэнтыфікатар банкі і абраны маршрут асобна. Калі вы вырашылі змяніць маршрут на паўдарозе, вырашыце таксама што павінна адбыцца з сесіяй праграмы.

Асобныя банкі прадухіляюць выпадковае супольнае выкарыстанне кукаў паміж вызначанымі групамі. Яны не абяцаюць, што пункт прызначэння не здолее звязаць два запыты праз уліковы запіс ці іншыя даныя праграмы.

Калі пасля змены IP застаецца не тая старонка, праверце, якая банка адправіла запыт, перш чым выдаляць усе кукі або замяняць увесь пул проксі. Захаваны стан цалкам можа тлумачыць гэтую старонку.