Crawlee 3 kobler en proxy-URL til en sesjons-ID

Bruk sesjonsargumentet i ProxyConfiguration fra Crawlee 3.14 for stabil rutevalg, og regn med den endrede eierskapsmodellen i v4-migreringsdokumentasjonen.

I Crawlee 3.14 kan ProxyConfiguration koble en sesjonsidentifikator til en valgt proxy-URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP-proxy-listen gir offentlige kandidater for proxyUrls. Gjentatte kall med samme sesjons-ID gir tilbake URL-en den er koblet til. Uten sesjons-ID går den oppgitte listen på rundgang. Dette velger et konfigurert endepunkt; en tjeneste lenger opp som roterer utganger bak én URL, kontrollerer fortsatt sin egen utgangsatferd.

For sesjoner som crawleren administrerer, bruk crawlerens sesjonspool og opplegget for cookie-lagring. Å sette maxConcurrency ned til én er ikke det samme som å definere hvilke forespørsler som hører til samme sesjon.

Når en sesjon tas ut av bruk, oppstår en ny identitetsgrense. Hold ruten, cookiene og tilstanden til arbeidsmengden samstemt i stedet for å rotere bare ett felt under innlogging eller en operasjon i flere trinn.

Hovedversjonen har betydning. Migreringsdokumentasjonen for Crawlee v4 fjerner sessionId-argumentet fra newUrl og flytter proxy-koblingen til Session-eierskap. Eksempelet ovenfor bruker med vilje v3-grensesnittet; ikke kopier argumentet til en annen hovedversjon uten å tilpasse den livssyklusen.

Relaterte artikler