Crawlee 3 aparella una URL de proxy amb un ID de sessió

Utilitzeu l'argument de sessió de ProxyConfiguration de Crawlee 3.14 per a una selecció de ruta estable i tingueu en compte el model de propietat canviat a la documentació de migració a v4.

A Crawlee 3.14, ProxyConfiguration pot aparellar un identificador de sessió amb una URL de proxy seleccionada:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

La llista de proxies HTTP proporciona candidats públics per a proxyUrls. Les crides repetides amb el mateix ID de sessió retornen la seva URL aparellada. Sense ID de sessió, la llista subministrada rota en torn circular. Això selecciona un punt final configurat; un servei ascendent que rota sortides darrere d'una URL encara controla el seu propi comportament de sortida.

Per a les sessions gestionades pel rastrejador, feu servir el pool de sessions del rastrejador i el dispositiu de persistència de galetes. Baixar maxConcurrency a un no substitueix la definició de quines peticions pertanyen a la mateixa sessió.

Retirar una sessió crea una nova frontera d'identitat. Mantingueu la seva ruta, galetes i estat de càrrega de treball coherents en lloc de rotar només un camp durant un inici de sessió o una operació de diversos passos.

La versió principal importa. La documentació de migració de Crawlee a v4 elimina l'argument sessionId de newUrl i trasllada l'aparellament de proxy a la propietat de Session. L'exemple anterior utilitza intencionadament la interfície v3; no copieu el seu argument a una altra versió principal sense adaptar aquest cicle de vida.

Articles relacionats