Crawlee 3 povezuje proxy URL s ID-om sesije

Koristite argument sesije u ProxyConfiguration iz Crawlee 3.14 za stabilan odabir rute i uzmite u obzir promijenjeni model vlasništva u dokumentaciji migracije na v4.

U Crawlee 3.14 ProxyConfiguration može povezati identifikator sesije s odabranim proxy URL-om:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Popis HTTP proxyja daje javne kandidate za proxyUrls. Ponovljeni pozivi s istim ID-om sesije vraćaju njemu pridruženi URL. Bez ID-a sesije, dostavljeni popis izmjenjuje se kružno. Time se bira konfigurirana završna točka; usluga uzvodno koja rotira izlaze iza jednog URL-a i dalje kontrolira svoje izlazno ponašanje.

Za sesije kojima upravlja crawler, koristite crawlerov bazen sesija i raspored čuvanja kolačića. Smanjenje maxConcurrency na jedan nije zamjena za definiranje toga koji zahtjevi pripadaju istoj sesiji.

Umirovljenje sesije stvara novu granicu identiteta. Održavajte njezinu rutu, kolačiće i stanje radnog opterećenja usklađenima umjesto da rotirate samo jedno polje tijekom prijave ili operacije s više koraka.

Glavna verzija je važna. Crawlee dokumentacija za migraciju na v4 uklanja argument sessionId iz newUrl i premješta uparivanje proxyja u vlasništvo Session. Gornji primjer namjerno koristi v3 sučelje; ne kopirajte njegov argument u drugu glavnu verziju bez prilagodbe tog životnog ciklusa.

Povezani članci