Crawlee 3 koppelt eng Proxy-URL mat enger Sessiouns-ID

Benotzt d'Sessiounsargument vun ProxyConfiguration a Crawlee 3.14 fir eng stabil Ruteauswiel, a berücksichtegt dat geännert Eegentumsmodell an der v4-Migratiounsdokumentatioun.

An Crawlee 3.14 kann ProxyConfiguration eng Sessiounsidentitéit mat enger ausgewielter Proxy-URL koppelen:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

D'HTTP-Proxy-Lëscht liwwert ëffentlech Kandidaten fir proxyUrls. Widderholl Opruffer mat derselwechter Sessiouns-ID ginn déi gekoppelt URL zréck. Ouni Sessiouns-ID dréit déi geliwwert Lëscht ëm. Dat wielt en agestellten Endpunkt aus; en Upstream-Service, deen Ausgäng hannert enger URL dréit, kontrolléiert nach ëmmer säin eegent Ausgangsverhalen.

Fir Sessiounen, déi de Crawler verwalt, benotzt de Sessiounspool vum Crawler an d'Cookie-Persistenz. maxConcurrency op een erofzesetzen ersetzt net d'Festleeung, wéi eng Ufroen zu der selwechter Sessioun gehéieren.

Eng Sessioun ausser Betrib ze setzen schaaft eng nei Identitéitsgrenz. Halt hir Rute, hir Cookies an hire Aarbechtslaascht-Zoustand konsequent, amplaz nëmmen een Feld während enger Umeldung oder enger méischrëtter Operatioun ze dréien.

D'Haaptversioun zielt. D'v4-Migratiounsdokumentatioun vu Crawlee hëlt d'sessionId-Argument aus newUrl eraus an transportéiert d'Proxy-Kopplung an d'Session-Eegentum. D'Beispill uewen benotzt bewosst d'v3-Schnittstell; kopéiert säin Argument net an eng aner Haaptversioun, ouni dee Liewenszyklus unzepassen.

Ähnlech Artikelen