Crawlee 3 abbina un URL proxy a un ID di sessione

In Crawlee 3.14, ProxyConfiguration può abbinare un identificatore di sessione a un URL proxy selezionato:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

La lista di proxy HTTP fornisce candidati pubblici per proxyUrls. Le chiamate ripetute con lo stesso ID di sessione restituiscono l'URL abbinato. Senza ID di sessione, l'elenco fornito ruota a turno. Questo seleziona un endpoint configurato; un servizio a monte che ruota le uscite dietro un solo URL controlla comunque il proprio comportamento in uscita.

Per le sessioni gestite dal crawler, usate il pool di sessioni del crawler e la persistenza dei cookie. Abbassare maxConcurrency a uno non sostituisce la definizione di quali richieste appartengono alla stessa sessione.

Ritirare una sessione crea un nuovo confine di identità. Mantenete coerenti il suo percorso, i cookie e lo stato del carico di lavoro invece di ruotare un solo campo durante un accesso o un'operazione in più passaggi.

La versione principale conta. La documentazione di migrazione di Crawlee a v4 rimuove l'argomento sessionId da newUrl e sposta l'abbinamento del proxy nella proprietà di Session. L'esempio sopra usa intenzionalmente l'interfaccia v3; non copiate il suo argomento in un'altra versione principale senza adattare quel ciclo di vita.