Crawlee 3.14 ичинде ProxyConfiguration сессия идентификаторун тандалган прокси URL менен жуптай алат:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP прокси тизмеси proxyUrls үчүн ачык талапкерлерди сунуштайт. Бир сессия ID менен кайталап чакыруу ага жупталган URLди кайтарат. Сессия ID жок болсо, берилген тизме кезек менен айланат. Бул конфигурацияланган акыркы чекитти тандайт; бир URLдин артында чыгууларды айландырган жогорку агымдагы кызмат өзүнүн чыгуу жүрүм-турумун дагы эле көзөмөлдөйт.

Краулер башкарган сессиялар үчүн краулердин сессия пулун жана cookie сактоо тартибин колдонуңуз. maxConcurrencyди бирге түшүрүү кайсы суроолор бир сессияга таандык экенин аныктоонун ордун баспайт.

Сессияны токтотуу жаңы инсандык чекти түзөт. Кирүү же көп баскычтуу операция учурунда бир гана талааны айландыруунун ордуна анын маршрутун, cookieлерин жана жүк толуктоо абалын ырааттуу кармаңыз.

Негизги версия маанилүү. Crawleeнин v4 которуу документи sessionId аргументин newUrlден алып салат жана прокси жуптоону Session ээлигине өткөрөт. Жогорудагы мисал v3 интерфейсин атайын колдонот; ошол жашоо циклин ылайыкташтырбастан анын аргументин башка негизги версияга көчүрбөңүз.

Тектеш макалалар