Scrapy теглата за колачиња припаѓа на сесија, а не автоматски на прокси

Изберете јасен идентитет на теглата за колачиња кога неколку прокси работни текови делат еден пајак и пренесете го тој идентитет на следните барања.

Менувањето на проксито не ги менува автоматски колачињата на пајакот. Тоа може да биде корисно за една сесија што продолжува и изненадувачко кога неколку независни сесии делат ист пајак.

Средниот слој за колачиња на Scrapy поддржува одделни тегли избрани преку метаподатоците cookiejar на барањето. Дајте ѝ на тој клуч идентитетот што навистина сакате да го зачувате:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Крајната точка и клучот на теглата се независни избори. Неавтентифицирано јавно ползење може да ја земе избраната HTTP крајна точка од списокот на HTTP прокси таму каде што таа рута е дозволена; работниот тек сепак го поседува клучот на теглата. Следното барање што треба да остане во оваа сесија бара ист клуч на тегла; метаподатоците не се лепат автоматски на секое ново барање што ќе го создадете. Пренесувајте ги конкретните полиња што ги бара работниот тек наместо слепо да ги копирате сите метаподатоци на средниот слој.

Користењето на адресата на проксито како клуч на теглата е само една политика

Тој кратен пат го групира состојбата по крајна точка. Не мора да ја групира по личност, сметка или јавен излез. Една крајна точка на добавувач може да ротира излези, а неколку сметки можат да ја користат истата крајна точка.

За овластен работен тек на кој му треба стабилна состојба, запишете одделно идентификаторот на сметката/сесијата, идентификаторот на теглата и избраната рута. Ако одлучите да ја смените рутата на половина пат, одлучете и што треба да се случи со сесијата на апликацијата.

Одделните тегли спречуваат случајно споделување колачиња меѓу групите што сте ги дефинирале. Но тие не ветуваат дека одредиштето не може да поврзе две барања преку сметка или други податоци на апликацијата.

Ако погрешната страница остане и по промената на IP адресите, проверете која тегла го испратила барањето пред да ги избришете сите колачиња или да го замените целиот базен на прокси. Зачуваната состојба може сосема добро да ја објасни страницата.

Поврзани статии