Crawlee 3 povezuje proxy URL sa ID-om sesije

Koristite argument sesije u ProxyConfiguration iz Crawlee 3.14 za stabilan izbor rute i uzmite u obzir promenjeni model vlasništva u dokumentaciji migracije na v4.

U Crawlee 3.14 ProxyConfiguration može povezati identifikator sesije sa izabranim proxy URL-om:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Lista HTTP proxyja daje javne kandidate za proxyUrls. Ponovljeni pozivi sa istim ID-om sesije vraćaju njemu pridruženi URL. Bez ID-a sesije, dostavljena lista se smenjuje kružno. Time se bira konfigurisana krajnja tačka; usluga uzvodno koja rotira izlaze iza jednog URL-a i dalje kontroliše svoje izlazno ponašanje.

Za sesije kojima upravlja crawler, koristite crawlerov bazen sesija i raspored čuvanja kolačića. Smanjenje maxConcurrency na jedan nije zamena za definisanje toga koji zahtevi pripadaju istoj sesiji.

Umirovljenje sesije stvara novu granicu identiteta. Održavajte njenu rutu, kolačiće i stanje radnog opterećenja usklađenim umesto da rotirate samo jedno polje tokom prijave ili operacije sa više koraka.

Glavna verzija je važna. Crawlee dokumentacija za migraciju na v4 uklanja argument sessionId iz newUrl i premešta uparivanje proxyja u vlasništvo Session. Gornji primer namerno koristi v3 interfejs; ne kopirajte njegov argument u drugu glavnu verziju bez prilagođavanja tog životnog ciklusa.

Povezani članci