Crawlee 3 parrer en proxy-URL med et sessions-ID

Brug Crawlee 3.14's ProxyConfiguration-sessionsargument til stabil rutevalg, og tag højde for den ændrede ejerskabsmodel i v4-migreringsdokumentationen.

I Crawlee 3.14 kan ProxyConfiguration parre en sessionsidentifikator med en valgt proxy-URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP-proxy-listen leverer offentlige kandidater til proxyUrls. Gentagne kald med samme sessions-ID returnerer dens parrede URL. Uden et sessions-ID roterer den leverede liste rundt. Det vælger et konfigureret endepunkt; en opstrøms tjeneste, der roterer udgange bag én URL, styrer stadig sin egen udgangsadfærd.

Til sessions, som crawleren styrer, skal du bruge crawlerens sessionspulje og cookie-opbevaring. At sænke maxConcurrency til én er ikke en erstatning for at definere, hvilke anmodninger der hører til samme session.

At pensionere en session skaber en ny identitetsgrænse. Hold dens rute, cookies og arbejdsbelastningstilstand konsistente i stedet for kun at rotere ét felt under et login eller en flertrinsoperation.

Hovedversionen betyder noget. Crawlees v4-migreringsdokumentation fjerner sessionId-argumentet fra newUrl og flytter proxy-parring til Session-ejerskab. Eksemplet ovenfor bruger med vilje v3-grænsefladen; kopiér ikke dets argument til en anden hovedversion uden at tilpasse den livscyklus.

Relaterede artikler