Crawlee 3 pāro proksija URL ar sesijas ID

Crawlee 3.14 versijā ProxyConfiguration var pārot sesijas identifikatoru ar izvēlētu proksija URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP proksiju saraksts nodrošina publiskus kandidātus parametram proxyUrls. Atkārtoti izsaukumi ar to pašu sesijas ID atgriež tam pāroto URL. Bez sesijas ID piegādātais saraksts mainās pēc kārtas. Tas izvēlas konfigurētu galapunktu; augšupējs pakalpojums, kas rotē izejas aiz viena URL, joprojām kontrolē savu izejas uzvedību.

Vilcēja pārvaldītām sesijām izmantojiet vilcēja sesiju kopu un sīkfailu saglabāšanas kārtību. maxConcurrency samazināšana līdz vienam neaizstāj noteikšanu, kuri pieprasījumi pieder vienai sesijai.

Sesijas izņemšana rada jaunu identitātes robežu. Saglabājiet tās maršrutu, sīkfailus un darba slodzes stāvokli konsekventus, nevis rotējiet tikai vienu lauku pieteikšanās vai vairāku soļu darbības laikā.

Galvenajai versijai ir nozīme. Crawlee v4 migrācijas dokumentācija noņem sessionId argumentu no newUrl un pārvieto proksija pārošanu uz Session īpašumtiesībām. Iepriekšējais piemērs apzināti izmanto v3 saskarni; nepārkopējiet tā argumentu citā galvenajā versijā, nepielāgojot šo dzīves ciklu.