Crawlee 3 emparelha um URL de proxy com um ID de sessão

Use o argumento de sessão do ProxyConfiguration do Crawlee 3.14 para seleção de rota estável e considere o modelo de propriedade alterado na documentação de migração para v4.

No Crawlee 3.14, o ProxyConfiguration pode emparelhar um identificador de sessão com um URL de proxy selecionado:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

A lista de proxies HTTP fornece candidatos públicos para proxyUrls. Chamadas repetidas com o mesmo ID de sessão devolvem o URL emparelhado. Sem ID de sessão, a lista fornecida alterna em rodízio. Isso seleciona um endpoint configurado; um serviço a montante que alterna saídas atrás de um URL ainda controla o próprio comportamento de saída.

Para sessões geridas pelo crawler, use o conjunto de sessões do crawler e o mecanismo de persistência de cookies. Baixar maxConcurrency para um não substitui a definição de quais pedidos pertencem à mesma sessão.

Retirar uma sessão cria uma nova fronteira de identidade. Mantenha a rota, os cookies e o estado da carga de trabalho coerentes em vez de alternar apenas um campo durante um login ou uma operação de vários passos.

A versão principal importa. A documentação de migração do Crawlee para v4 remove o argumento sessionId de newUrl e move o emparelhamento de proxy para a propriedade de Session. O exemplo acima usa intencionalmente a interface v3; não copie o seu argumento para outra versão principal sem adaptar esse ciclo de vida.

Artigos relacionados