Crawlee 3 поврзува прокси URL со ID на сесија

Користете го аргументот за сесија на ProxyConfiguration во Crawlee 3.14 за стабилен избор на рута и земете го предвид променетиот модел на сопственост во документацијата за миграција на v4.

Во Crawlee 3.14, ProxyConfiguration може да поврзе идентификатор на сесија со избран прокси URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Списокот на HTTP прокси сервери обезбедува јавни кандидати за proxyUrls. Повторените повици со истиот ID на сесија го враќаат поврзаниот URL. Без ID на сесија, доставениот список се менува по ред. Ова избира конфигурирана крајна точка; услугата нагоре во синџирот што ги менува излезите зад еден URL сè уште го контролира сопственото излезно однесување.

За сесии управувани од ползачот, користете го базенот на сесии на ползачот и поставеноста за чување колачиња. Намалувањето на maxConcurrency на еден не го заменува дефинирањето кои барања припаѓаат на истата сесија.

Отстранувањето на сесија создава нова граница на идентитет. Одржувајте нејзината рута, колачиња и состојбата на работното оптоварување усогласени наместо да ротирате само едно поле за време на најава или операција со повеќе чекори.

Главната верзија е важна. Документацијата за миграција на Crawlee на v4 го отстранува аргументот sessionId од newUrl и го преместува поврзувањето на прокси во сопственост на Session. Примерот погоре намерно го користи интерфејсот v3; не го копирајте неговиот аргумент во друга главна верзија без да го прилагодите тој животен циклус.

Поврзани статии