Crawlee 3 koppelt een proxy-URL aan een sessie-ID

Gebruik het sessieargument van ProxyConfiguration in Crawlee 3.14 voor stabiele routeselectie, en houd rekening met het gewijzigde eigendomsmodel in de v4-migratiedocumentatie.

In Crawlee 3.14 kan ProxyConfiguration een sessie-identificatie koppelen aan een gekozen proxy-URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

De HTTP-proxylijst levert openbare kandidaten voor proxyUrls. Herhaalde aanroepen met dezelfde sessie-ID geven de gekoppelde URL terug. Zonder sessie-ID roteert de meegegeven lijst rond. Dat selecteert een geconfigureerd eindpunt; een upstreamdienst die uitgangen achter één URL roteert, beheert nog steeds zijn eigen uitgangsgedrag.

Voor sessies die de crawler beheert, gebruikt u de sessiepool van de crawler en de cookie-opslag. maxConcurrency verlagen naar één is geen vervanging voor het bepalen welke verzoeken bij dezelfde sessie horen.

Een sessie buiten gebruik stellen maakt een nieuwe identiteitsgrens. Houd de route, cookies en werklaststatus consistent in plaats van slechts één veld te roteren tijdens een login of een meerstapsbewerking.

De hoofdversie maakt uit. De v4-migratiedocumentatie van Crawlee verwijdert het sessionId-argument uit newUrl en verplaatst proxykoppeling naar Session-eigendom. Het voorbeeld hierboven gebruikt bewust de v3-interface; kopieer het argument niet naar een andere hoofdversie zonder die levenscyclus aan te passen.

Gerelateerde artikelen