Crawlee 3 parer en proxy-URL med en sesjons-ID

I Crawlee 3.14 kan ProxyConfiguration pare en sesjonsidentifikator med en valgt proxy-URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP-proxy-listen leverer offentlige kandidater for proxyUrls. Gjentatte kall med samme sesjons-ID returnerer den parede URL-en. Uten en sesjons-ID roterer den oppgitte listen rundt. Dette velger et konfigurert endepunkt; en oppstrøms tjeneste som roterer utganger bak én URL, styrer fortsatt sin egen utgangsatferd.

For sesjoner som crawleren styrer, bruk crawlerens sesjonspool og cookie-lagring. Å senke maxConcurrency til én er ikke en erstatning for å definere hvilke forespørsler som hører til samme sesjon.

Å pensjonere en sesjon skaper en ny identitetsgrense. Hold ruten, cookiene og arbeidsbelastningstilstanden konsistente i stedet for å rotere bare ett felt under en innlogging eller en flertrinnsoperasjon.

Hovedversjonen betyr noe. Crawlees v4-migreringsdokumentasjon fjerner sessionId-argumentet fra newUrl og flytter proxy-paring til Session-eierskap. Eksemplet over bruker med vilje v3-grensesnittet; ikke kopier argumentet til en annen hovedversjon uten å tilpasse den livssyklusen.