Crawlee 3 parar ein proxy-URL med ein sesjons-ID

Bruk sesjonsargumentet til ProxyConfiguration i Crawlee 3.14 for stabil ruteval, og ta høgd for den endra eigarmodellen i v4-migreringsdokumentasjonen.

I Crawlee 3.14 kan ProxyConfiguration para ein sesjonsidentifikator med ein vald proxy-URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP-proxylista leverer offentlege kandidatar for proxyUrls. Gjentekne kall med same sesjons-ID returnerer den para URL-en. Utan sesjons-ID roterer lista som er oppgjeven, rundt. Dette vel eit konfigurert endepunkt; ei teneste oppstraums som roterer utgangar bak éin URL, styrer framleis si eiga utgangsåtferd.

For sesjonar som crawleren styrer, bruk sesjonsbassenget til crawleren og cookie-lagringa. Å senke maxConcurrency til éin er ikkje ei erstatning for å definere kva førespurnader som høyrer til same sesjon.

Å pensjonere ein sesjon skaper ei ny identitetsgrense. Hald ruta, cookiane og arbeidslasttilstanden konsistente i staden for å rotere berre eitt felt under ei innlogging eller ein fleirtrinnsoperasjon.

Hovudversjonen tel. V4-migreringsdokumentasjonen til Crawlee fjernar sessionId-argumentet frå newUrl og flyttar proxy-paring til Session-eige. Dømet over brukar med vilje v3-grensesnittet; ikkje kopier argumentet til ein annan hovudversjon utan å tilpasse den livssyklusen.

Relaterte artiklar