Crawlee 3 emparexa un URL de proxy cun ID de sesión

Use o argumento de sesión de ProxyConfiguration de Crawlee 3.14 para unha selección de ruta estable e teña en conta o modelo de propiedade modificado na documentación de migración a v4.

En Crawlee 3.14, ProxyConfiguration pode emparexar un identificador de sesión cun URL de proxy seleccionado:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

A lista de proxies HTTP fornece candidatos públicos para proxyUrls. As chamadas repetidas co mesmo ID de sesión devolven o URL emparexado. Sen ID de sesión, a lista fornecida rota por quendas. Isto selecciona un punto final configurado; un servizo anterior que rota saídas detrás dun URL segue controlando o seu propio comportamento de saída.

Para as sesións xestionadas polo rastrexador, use o conxunto de sesións do rastrexador e o mecanismo de persistencia de cookies. Baixar maxConcurrency a un non substitúe a definición de que solicitudes pertencen á mesma sesión.

Retirar unha sesión crea unha nova fronteira de identidade. Manteña a súa ruta, cookies e estado de carga de traballo coherentes en lugar de rotar só un campo durante un inicio de sesión ou unha operación de varios pasos.

A versión principal importa. A documentación de migración de Crawlee a v4 elimina o argumento sessionId de newUrl e traslada o emparexamento de proxy á propiedade de Session. O exemplo anterior usa intencionadamente a interface v3; non copie o seu argumento noutra versión principal sen adaptar ese ciclo de vida.

Artigos relacionados