Crawlee 3 povezuje proxy URL sa ID-om sesije

Koristite argument sesije u ProxyConfiguration iz Crawlee 3.14 za stabilan odabir rute i uzmite u obzir promijenjeni model vlasništva u dokumentaciji migracije na v4.

U Crawlee 3.14 ProxyConfiguration može povezati identifikator sesije s odabranim proxy URL-om:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Lista HTTP proxyja daje javne kandidate za proxyUrls. Ponovljeni pozivi s istim ID-om sesije vraćaju njemu pridruženi URL. Bez ID-a sesije, dostavljena lista se izmjenjuje kružno. Time se bira konfigurisana krajnja tačka; usluga uzvodno koja rotira izlaze iza jednog URL-a i dalje kontroliše svoje izlazno ponašanje.

Za sesije kojima upravlja crawler, koristite crawlerov bazen sesija i raspored čuvanja kolačića. Smanjenje maxConcurrency na jedan nije zamjena za definisanje toga koji zahtjevi pripadaju istoj sesiji.

Umirovljenje sesije stvara novu granicu identiteta. Održavajte njenu rutu, kolačiće i stanje radnog opterećenja usklađenim umjesto da rotirate samo jedno polje tokom prijave ili operacije s više koraka.

Glavna verzija je važna. Crawlee dokumentacija za migraciju na v4 uklanja argument sessionId iz newUrl i premješta uparivanje proxyja u vlasništvo Session. Gornji primjer namjerno koristi v3 interfejs; ne kopirajte njegov argument u drugu glavnu verziju bez prilagođavanja tog životnog ciklusa.

Povezani članci