Crawlee 3 asociază un URL de proxy cu un ID de sesiune

Folosiți argumentul de sesiune al ProxyConfiguration din Crawlee 3.14 pentru o selecție stabilă a rutei și țineți cont de modelul de proprietate modificat din documentația de migrare la v4.

În Crawlee 3.14, ProxyConfiguration poate asocia un identificator de sesiune cu un URL de proxy selectat:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Lista de proxy HTTP furnizează candidați publici pentru proxyUrls. Apelurile repetate cu același ID de sesiune returnează URL-ul asociat. Fără ID de sesiune, lista furnizată se rotește pe rând. Aceasta selectează un punct final configurat; un serviciu din amonte care rotește ieșiri în spatele unui singur URL controlează în continuare propriul comportament de ieșire.

Pentru sesiunile gestionate de crawler, folosiți grupul de sesiuni al crawlerului și mecanismul de păstrare a cookie-urilor. Reducerea maxConcurrency la unu nu înlocuiește definirea cererilor care aparțin aceleiași sesiuni.

Retragerea unei sesiuni creează o nouă limită de identitate. Păstrați ruta, cookie-urile și starea sarcinii de lucru consecvente în loc să rotiți doar un câmp în timpul unei autentificări sau al unei operațiuni cu mai mulți pași.

Versiunea majoră contează. Documentația de migrare a Crawlee la v4 elimină argumentul sessionId din newUrl și mută asocierea proxy în proprietatea Session. Exemplul de mai sus folosește intenționat interfața v3; nu copiați argumentul său într-o altă versiune majoră fără a adapta acel ciclu de viață.

Articole similare