Crawlee 3 yhdistää välityspalvelimen URL:n istuntotunnukseen

Crawlee 3.14:ssä ProxyConfiguration voi yhdistää istuntotunnuksen valittuun välityspalvelimen URL:iin:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP-välityspalvelinluettelo tarjoaa julkisia ehdokkaita proxyUrls-asetukselle. Toistuvat kutsut samalla istuntotunnuksella palauttavat siihen yhdistetyn URL:n. Ilman istuntotunnusta annettu luettelo vaihtuu vuorotellen. Tämä valitsee määritetyn päätepisteen; ylävirran palvelu, joka vaihtaa lähtöjä yhden URL:n takana, hallitsee edelleen omaa lähtökäyttäytymistään.

Crawlerin hallitsemille istunnoille käytä crawlerin istuntopoolia ja evästeiden säilytysjärjestelyä. maxConcurrencyn laskeminen yhteen ei korvaa sen määrittämistä, mitkä pyynnöt kuuluvat samaan istuntoon.

Istunnon poistaminen käytöstä luo uuden identiteettirajan. Pidä sen reitti, evästeet ja työkuorman tila yhtenäisinä sen sijaan, että vaihtaisit vain yhtä kenttää kirjautumisen tai monivaiheisen toiminnon aikana.

Pääversiolla on väliä. Crawleen v4-siirtymädokumentaatio poistaa sessionId-argumentin newUrlista ja siirtää välityspalvelimen yhdistämisen Sessionin omistukseen. Yllä oleva esimerkki käyttää tarkoituksella v3-rajapintaa; älä kopioi sen argumenttia toiseen pääversioon mukauttamatta kyseistä elinkaarta.