Crawlee 3 verknüpft eine Proxy-URL mit einer Session-ID

In Crawlee 3.14 kann ProxyConfiguration eine Session-ID mit einer ausgewählten Proxy-URL verknüpfen:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Die HTTP-Proxy-Liste liefert öffentliche Kandidaten für proxyUrls. Wiederholte Aufrufe mit derselben Session-ID geben die zugehörige URL zurück. Ohne Session-ID rotiert die übergebene Liste reihum. Das wählt einen konfigurierten Endpunkt aus; ein vorgelagerter Dienst, der Ausgänge hinter einer URL rotiert, steuert weiterhin sein eigenes Ausgangsverhalten.

Für vom Crawler verwaltete Sitzungen nutzen Sie den Sitzungspool des Crawlers und die Cookie-Persistenz. maxConcurrency auf eins zu senken ersetzt nicht die Festlegung, welche Anfragen zu derselben Sitzung gehören.

Eine Sitzung außer Betrieb zu nehmen schafft eine neue Identitätsgrenze. Halten Sie Route, Cookies und Workload-Zustand konsistent, statt während eines Logins oder eines mehrstufigen Vorgangs nur ein Feld zu rotieren.

Die Hauptversion zählt. Die v4-Migrationsdokumentation von Crawlee entfernt das sessionId-Argument aus newUrl und verlagert die Proxy-Verknüpfung in die Session-Eigentümerschaft. Das obige Beispiel nutzt bewusst die v3-Schnittstelle; kopieren Sie sein Argument nicht in eine andere Hauptversion, ohne diesen Lebenszyklus anzupassen.