Crawlee 3 спалучае проксі-URL з ідэнтыфікатарам сеансу

У Crawlee 3.14 ProxyConfiguration можа спалучаць ідэнтыфікатар сеансу з выбраным проксі-URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Спіс HTTP-проксі пастаўляе публічныя кандыдаты для proxyUrls. Паўторныя выклікі з тым жа ідэнтыфікатарам сеансу вяртаюць спалучаны з ім URL. Без ідэнтыфікатара сеансу пададзены спіс пераключаецца па чарзе. Гэта выбірае наладжаны канчатковы пункт; паслуга вышэйшага ўзроўню, якая круціць выхады за адным URL, па-ранейшаму кантралюе свае паводзіны на выхадзе.

Для сеансаў, якімі кіруе crawler, выкарыстоўвайце пул сеансаў crawler і схему захавання cookie. Зніжэнне maxConcurrency да аднаго не замяняе вызначэнне таго, якія запыты належаць аднаму сеансу.

Завяршэнне сеансу стварае новую мяжу ідэнтычнасці. Падтрымлівайце яго маршрут, cookie і стан працоўнай нагрузкі ўзгодненымі, а не круціце толькі адно поле падчас уваходу або шматкрокавай аперацыі.

Асноўная версія мае значэнне. Дакументацыя пераходу Crawlee на v4 выдаляе аргумент sessionId з newUrl і пераносіць спалучэнне проксі ва ўласнасць Session. Прыклад вышэй наўмысна выкарыстоўвае інтэрфейс v3; не капіруйце яго аргумент у іншую асноўную версію, не адаптаваўшы гэты жыццёвы цыкл.