Crawlee 3 свързва прокси URL с идентификатор на сесия

Използвайте аргумента за сесия на ProxyConfiguration в Crawlee 3.14 за стабилен избор на маршрут и отчитайте променения модел на собственост в документацията за миграция към v4.

В Crawlee 3.14 ProxyConfiguration може да свърже идентификатор на сесия с избран прокси URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Списъкът с HTTP прокси сървъри предоставя публични кандидати за proxyUrls. Повтарящите се извиквания със същия идентификатор на сесия връщат свързания с него URL. Без идентификатор на сесия предоставеният списък се редува последователно. Това избира конфигурирана крайна точка; услуга нагоре по веригата, която сменя изходите зад един URL, все още контролира собственото си изходно поведение.

За сесии, управлявани от обхождащия агент, използвайте пула от сесии на агента и схемата за запазване на бисквитки. Намаляването на maxConcurrency до едно не замества определянето кои заявки принадлежат на една и съща сесия.

Прекратяването на сесия създава нова граница на идентичност. Поддържайте маршрута, бисквитките и състоянието на натоварването съгласувани, вместо да сменяте само едно поле по време на вход или многостъпна операция.

Основната версия има значение. Документацията за миграция на Crawlee към v4 премахва аргумента sessionId от newUrl и премества свързването на прокси към собствеността на Session. Примерът по-горе умишлено използва интерфейса на v3; не копирайте аргумента му в друга основна версия, без да адаптирате този жизнен цикъл.

Подобни статии