Crawlee 3 seznani URL proxyja s sejo ID

Uporabite argument seje v ProxyConfiguration iz Crawlee 3.14 za stabilno izbiro poti in upoštevajte spremenjeni model lastništva v dokumentaciji migracije na v4.

V Crawlee 3.14 lahko ProxyConfiguration seznani identifikator seje z izbrano URL proxyja:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Seznam proxyjev HTTP zagotavlja javne kandidate za proxyUrls. Ponovljeni klici z isto sejo ID vrnejo z njo seznanjeno URL. Brez seje ID se priloženi seznam izmenjuje krožno. To izbere konfigurirano končno točko; storitev višje v verigi, ki vrti izhode za eno URL, še vedno nadzoruje svoje vedenje na izhodu.

Za seje, ki jih upravlja crawler, uporabite bazen sej crawlerja in ureditev shranjevanja piškotkov. Znižanje maxConcurrency na ena ne nadomesti določitve, katere zahteve pripadajo isti seji.

Umik seje ustvari novo mejo identitete. Ohranjajte njeno pot, piškotke in stanje delovne obremenitve usklajene, namesto da vrtite samo eno polje med prijavo ali večstopenjsko operacijo.

Glavna različica je pomembna. Dokumentacija migracije Crawlee na v4 odstrani argument sessionId iz newUrl in premakne seznanjanje proxyja v lastništvo Session. Zgornji primer namenoma uporablja vmesnik v3; ne kopirajte njegovega argumenta v drugo glavno različico brez prilagoditve tega življenjskega cikla.

Sorodni članki