Crawlee 3 páruje proxy URL s ID relácie

V Crawlee 3.14 môže ProxyConfiguration spárovať identifikátor relácie s vybranou proxy URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Zoznam HTTP proxy dodáva verejných kandidátov pre proxyUrls. Opakované volania s rovnakým ID relácie vracajú k nemu priradenú URL. Bez ID relácie sa dodaný zoznam strieda v kruhu. Tým sa vyberá nakonfigurovaný koncový bod; služba vyššie v reťazci, ktorá otáča výstupy za jednou URL, stále riadi svoje vlastné výstupné správanie.

Pre relácie spravované crawlerom použite fond relácií crawlera a usporiadanie na uchovávanie cookies. Zníženie maxConcurrency na jedna nenahrádza určenie, ktoré požiadavky patria do tej istej relácie.

Vyradenie relácie vytvára novú hranicu identity. Udržujte jej trasu, cookies a stav pracovného zaťaženia konzistentné, namiesto otáčania iba jedného poľa počas prihlásenia alebo viackrokovej operácie.

Hlavná verzia je dôležitá. Dokumentácia migrácie Crawlee na v4 odstraňuje argument sessionId z newUrl a presúva párovanie proxy do vlastníctva Session. Vyššie uvedený príklad zámerne používa rozhranie v3; nekopírujte jeho argument do inej hlavnej verzie bez úpravy tohto životného cyklu.