A Crawlee 3 proxy URL-t párosít munkamenet-azonosítóhoz

A Crawlee 3.14-ben a ProxyConfiguration munkamenet-azonosítót párosíthat egy kiválasztott proxy URL-hez:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Az HTTP-proxy lista nyilvános jelölteket ad a proxyUrls számára. Az azonos munkamenet-azonosítóval ismételt hívások a hozzá párosított URL-t adják vissza. Munkamenet-azonosító nélkül a megadott lista körbejár. Ez egy beállított végpontot választ; egy URL mögött kimeneteket váltogató felsőbb szolgáltatás továbbra is a saját kimeneti viselkedését irányítja.

A crawler által kezelt munkamenetekhez használja a crawler munkamenet-készletét és a cookie-k megőrzési rendjét. A maxConcurrency egyre csökkentése nem helyettesíti annak meghatározását, mely kérések tartoznak ugyanahhoz a munkamenethez.

Egy munkamenet kivonása új identitáshatárt hoz létre. Tartsa az útvonalát, a cookie-kat és a terhelési állapotát összhangban, ahelyett hogy bejelentkezés vagy több lépéses művelet közben csak egy mezőt forgatna.

A főverzió számít. A Crawlee v4-es migrációs dokumentációja eltávolítja a sessionId argumentumot a newUrl-ből, és a proxy-párosítást a Session tulajdonába helyezi. A fenti példa szándékosan a v3 felületet használja; ne másolja az argumentumát más főverzióba az életciklus átalakítása nélkül.