Crawlee 3 páruje proxy URL s ID relace

Použijte argument relace v ProxyConfiguration z Crawlee 3.14 pro stabilní volbu trasy a počítejte se změněným modelem vlastnictví v dokumentaci migrace na v4.

V Crawlee 3.14 může ProxyConfiguration spárovat identifikátor relace s vybranou proxy URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Seznam HTTP proxy dodává veřejné kandidáty pro proxyUrls. Opakovaná volání se stejným ID relace vracejí k němu přiřazenou URL. Bez ID relace se dodaný seznam střídá kruhově. Tím se vybírá nakonfigurovaný koncový bod; služba výše v řetězci, která otáčí výstupy za jednou URL, stále řídí své vlastní výstupní chování.

U relací spravovaných crawlerem použijte fond relací crawleru a uspořádání pro uchovávání cookies. Snížení maxConcurrency na jedna nenahrazuje určení, které požadavky patří ke stejné relaci.

Vyřazení relace vytváří novou hranici identity. Udržujte její trasu, cookies a stav pracovní zátěže konzistentní, místo abyste během přihlášení nebo vícestupňové operace otáčeli jen jedno pole.

Hlavní verze je důležitá. Dokumentace migrace Crawlee na v4 odstraňuje argument sessionId z newUrl a přesouvá párování proxy do vlastnictví Session. Výše uvedený příklad záměrně používá rozhraní v3; nekopírujte jeho argument do jiné hlavní verze bez úpravy tohoto životního cyklu.

Související články