Бурканът за бисквитки на Scrapy принадлежи на сесия, а не автоматично на прокси

Изберете ясна идентичност на буркана за бисквитки, когато няколко прокси работни потока споделят един паяк, и предавайте тази идентичност на следващите заявки.

Смяната на проксито не сменя автоматично бисквитките на паяка. Това може да е полезно за една продължаваща сесия и изненадващо, когато няколко независими сесии споделят един паяк.

Междинният софтуер за бисквитки на Scrapy поддържа отделни буркани, избирани чрез метаданните cookiejar на заявката. Дайте на този ключ идентичността, която наистина възнамерявате да запазите:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Крайната точка и ключът на буркана са независими избори. Неудостоверено публично обхождане може да вземе избраната от него HTTP крайна точка от списъка с HTTP проксита, където този маршрут е разрешен; работният поток все още притежава ключа на буркана. Следваща заявка, която трябва да остане в тази сесия, се нуждае от същия ключ на буркана; метаданните не се залепват автоматично за всяка нова заявка, която създавате. Предавайте конкретните полета, изисквани от работния поток, вместо да копирате сляпо всички метаданни на междинния софтуер.

Използването на адреса на проксито като ключ на буркана е само една политика

Този пряк път групира състоянието по крайна точка. Той не го групира непременно по човек, акаунт или публичен изход. Една крайна точка на доставчик може да сменя изходите, а няколко акаунта могат да използват същата крайна точка.

За оторизиран работен поток, който се нуждае от стабилно състояние, записвайте идентификатора на акаунта/сесията, идентификатора на буркана и избрания маршрут поотделно. Ако решите да смените маршрута по средата, решете също какво да се случи със сесията на приложението.

Отделните буркани предотвратяват случайно споделяне на бисквитки между групите, които сте дефинирали. Те не обещават, че дадена дестинация не може да свърже две заявки чрез акаунт или други данни на приложението.

Ако грешната страница остава след смяна на IP адреси, проверете кой буркан е изпратил заявката, преди да изтриете всички бисквитки или да замените целия пул от проксита. Запазеното състояние може напълно да обясни страницата.

Подобни статии