Crawlee 3 seob puhverserveri URL-i sessiooni ID-ga

Kasutage Crawlee 3.14 ProxyConfigurationi sessiooniargumenti stabiilseks marsruudivalikuks ja arvestage v4 migratsioonidokumendis muutunud omandimudeliga.

Crawlee 3.14-s saab ProxyConfiguration siduda sessiooni identifikaatori valitud puhverserveri URL-iga:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP puhverserverite loend pakub proxyUrls jaoks avalikke kandidaate. Korduvad kutsed sama sessiooni ID-ga tagastavad sellega seotud URL-i. Ilma sessiooni ID-ta pöörleb antud loend ringikujuliselt. See valib konfigureeritud lõpp-punkti; ülesvoolu teenus, mis pöörab väljundeid ühe URL-i taga, kontrollib endiselt oma väljundikäitumist.

Crawleri hallatavate sessioonide jaoks kasutage crawleri sessioonihoidlat ja küpsiste säilitamise lahendust. maxConcurrency langetamine ühele ei asenda määratlemist, millised päringud kuuluvad samasse sessiooni.

Sessiooni lõpetamine loob uue identiteedipiiri. Hoidke selle marsruut, küpsised ja töökoormuse olek kooskõlas, selle asemel et sisselogimise või mitmeetapilise toimingu ajal pöörata ainult ühte välja.

Põhiversioonil on tähtsust. Crawlee v4 migratsioonidokumentatsioon eemaldab newUrl-ist sessionId argumendi ja viib puhverserveri sidumise Sessioni omandisse. Ülaltoodud näide kasutab teadlikult v3 liidest; ärge kopeerige selle argumenti teise põhiversiooni ilma seda elutsüklit kohandamata.

Seotud artiklid