Crawlee 3 çifton një URL proxy me një ID sesioni

Përdorni argumentin e sesionit të ProxyConfiguration në Crawlee 3.14 për zgjedhje të qëndrueshme të rrugës dhe merrni parasysh modelin e ndryshuar të pronësisë në dokumentacionin e migrimit në v4.

Në Crawlee 3.14, ProxyConfiguration mund të çiftojë një identifikues sesioni me një URL proxy të zgjedhur:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Lista e proxy-ve HTTP ofron kandidatë publikë për proxyUrls. Thirrjet e përsëritura me të njëjtin ID sesioni kthejnë URL-në e çiftuar me të. Pa ID sesioni, lista e dhënë rrotullohet me radhë. Kjo zgjedh një pikë fundore të konfiguruar; një shërbim në rrjedhën e sipërme që rrotullon daljet pas një URL-je kontrollon ende sjelljen e vet të daljes.

Për sesionet e menaxhuara nga crawler-i, përdorni grupin e sesioneve të crawler-it dhe rregullimin e ruajtjes së cookies. Ulja e maxConcurrency në një nuk zëvendëson përcaktimin se cilat kërkesa i përkasin të njëjtit sesion.

Tërheqja e një sesioni krijon një kufi të ri identiteti. Mbani rrugën, cookies dhe gjendjen e ngarkesës së punës të qëndrueshme në vend që të rrotulloni vetëm një fushë gjatë një hyrjeje ose operacioni me shumë hapa.

Versioni kryesor ka rëndësi. Dokumentacioni i migrimit të Crawlee në v4 heq argumentin sessionId nga newUrl dhe e zhvendos çiftimin e proxy-ve te pronësia e Session. Shembulli më sipër përdor qëllimisht ndërfaqen v3; mos e kopjoni argumentin e tij në një version tjetër kryesor pa përshtatur atë cikël jetësor.

Artikuj të ngjashëm