Scrapy cookie құтысы сессияға тиесілі, проксиге автоматты түрде емес

Бірнеше прокси жұмыс процесі бір өрмекшіні бөліскенде, cookie құтысының айқын сәйкестігін таңдаңыз және сол сәйкестікті келесі сұрауларға өткізіңіз.

Проксиді ауыстыру өрмекшінің cookie файлдарын автоматты түрде ауыстырмайды. Бұл бір жалғасқан сессия үшін пайдалы болуы мүмкін, ал бірнеше тәуелсіз сессия бір өрмекшіні бөліскенде таңғалдырады.

Scrapy cookie аралық бағдарламасы сұрау метадеректерінің cookiejar арқылы таңдалатын бөлек құтыларды қолдайды. Сол кілтке шынымен сақтағыңыз келетін сәйкестікті беріңіз:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Соңғы нүкте мен құты кілті — тәуелсіз таңдаулар. Аутентификацияланбаған ашық шолу өзі таңдаған HTTP соңғы нүктесін HTTP прокси тізімінен осы маршрутқа рұқсат етілген жерде ала алады; жұмыс процесі әлі де құты кілтіне ие. Осы сессияда қалуы тиіс келесі сұрауға сол құты кілті қажет; метадеректер сіз жасаған әрбір жаңа сұрауға автоматты түрде жабыспайды. Аралық бағдарламаның барлық метадеректерін соқыр көшірудің орнына жұмыс процесіне қажет нақты өрістерді жеткізіңіз.

Прокси мекенжайын құты кілті ретінде пайдалану — тек бір саясат

Бұл қысқа жол күйді соңғы нүкте бойынша топтастырады. Ол оны міндетті түрде адам, аккаунт немесе жария шығу бойынша топтастырмайды. Бір провайдер соңғы нүктесі шығуларды айналдыра алады, ал бірнеше аккаунт бір соңғы нүктені пайдалана алады.

Тұрақты күй қажет авторизацияланған жұмыс процесі үшін аккаунт/сессия идентификаторын, құты идентификаторын және таңдалған маршрутты бөлек жазып алыңыз. Егер маршрутты жол үстінде өзгертуге шешім қабылдасаңыз, қолданба сессиясына не болатынын да шешіңіз.

Бөлек құтылар сіз анықтаған топтар арасында cookie файлдарының кездейсоқ ортақ пайдаланылуын болдырмайды. Бірақ олар қандай да бір межелі орынның екі сұрауды аккаунт немесе басқа қолданба деректері арқылы байланыстыра алмайтынына кепілдік бермейді.

Егер IP ауыстырғаннан кейін қате бет сақталып қалса, барлық cookie файлдарын жоймас немесе бүкіл прокси пулын ауыстырмас бұрын сұрауды қай құты жібергенін тексеріңіз. Сақталған күй бетті толық түсіндіре алады.

Қатысты мақалалар