Crawlee 3 повезује прокси URL са ID-ом сесије

Користите аргумент сесије у ProxyConfiguration из Crawlee 3.14 за стабилан избор руте и узмите у обзир измењени модел власништва у документацији миграције на v4.

У Crawlee 3.14 ProxyConfiguration може повезати идентификатор сесије са изабраним прокси URL-ом:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Листа HTTP проксија даје јавне кандидате за proxyUrls. Поновљени позиви са истим ID-ом сесије враћају њему придружени URL. Без ID-а сесије, достављена листа се смењује кружно. Тиме се бира конфигурисана крајња тачка; услуга узводно која ротира излазе иза једног URL-а и даље контролише своје излазно понашање.

За сесије којима управља crawler, користите crawler-ов базен сесија и распоред чувања колачића. Смањење maxConcurrency на један није замена за дефинисање тога који захтеви припадају истој сесији.

Умировљење сесије ствара нову границу идентитета. Одржавајте њену руту, колачиће и стање радног оптерећења усклађеним уместо да ротирате само једно поље током пријаве или операције са више корака.

Главна верзија је важна. Crawlee документација за миграцију на v4 уклања аргумент sessionId из newUrl и премешта упаривање проксија у власништво Session. Горњи пример намерно користи v3 интерфејс; не копирајте његов аргумент у другу главну верзију без прилагођавања тог животног циклуса.

Повезани чланци