Crawlee 3 прокси URL-ін сессия ID-імен жұптайды

Тұрақты маршрут таңдау үшін Crawlee 3.14-тің ProxyConfiguration сессия аргументін қолданыңыз және v4 көшу құжатындағы өзгерген меншік моделін ескеріңіз.

Crawlee 3.14-те ProxyConfiguration сессия идентификаторын таңдалған прокси URL-імен жұптай алады:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP прокси тізімі proxyUrls үшін ашық үміткерлерді ұсынады. Бір сессия ID-імен қайталап шақыру оған жұпталған URL-ді қайтарады. Сессия ID-і болмаса, берілген тізім кезекпен айналады. Бұл конфигурацияланған соңғы нүктені таңдайды; бір URL артында шығыстарды айналдыратын жоғары ағын қызметі өзінің шығыс мінез-құлқын әлі де басқарады.

Краулер басқаратын сессиялар үшін краулердің сессия пулын және cookie сақтау тәртібін пайдаланыңыз. maxConcurrency-ді бірге түсіру қай сұраулар бір сессияға жататынын анықтауды алмастырмайды.

Сессияны тоқтату жаңа сәйкестік шекарасын жасайды. Кіру немесе көпқадамды операция кезінде тек бір өрісті айналдырудың орнына оның маршрутын, cookie-лерін және жүктеме күйін үйлесімді ұстаңыз.

Негізгі нұсқа маңызды. Crawlee-дің v4 көшу құжаты sessionId аргументін newUrl-ден алып тастап, прокси жұптауын Session меншігіне көшіреді. Жоғарыдағы мысал v3 интерфейсін әдейі қолданады; сол өмірлік циклді бейімдемей оның аргументін басқа негізгі нұсқаға көшірмеңіз.

Қатысты мақалалар