Concurrencia del proxy de Scrapy en varios dominios
Use el límite global de concurrencia del descargador cuando varios dominios de destino consumen la misma cuota de proxy y luego cuente también otros rastreadores que comparten esa cuenta.
Si cada destino usa una sola cuenta de proxy, el cupo de solicitudes simultáneas de esa cuenta puede agotarse entre todos esos destinos. Un límite por dominio por sí solo no expresa ese presupuesto compartido.
Para una cuenta hipotética que permite como máximo 20 solicitudes simultáneas, deje cierto margen y fije el límite global del descargador del rastreador:
CONCURRENT_REQUESTS = 16Esta es una asignación ilustrativa, no un valor recomendado para todos los proveedores. Scrapy define CONCURRENT_REQUESTS como el número máximo de solicitudes simultáneas del descargador. Los controles por dominio pueden reducir aún más la concurrencia; no sustituyen el techo global.
Incluya a otros rastreadores en el cálculo. Dos rastreadores independientes con 16 solicitudes cada uno pueden superar juntos un cupo compartido de 20. Divida el presupuesto de forma deliberada o aplique un límite compartido donde converjan esos clientes.
Establezca también qué cuenta el proveedor. Las solicitudes HTTP, las conexiones TCP abiertas, los túneles activos y las solicitudes por segundo son cantidades distintas. Las conexiones persistentes y la multiplexación pueden hacer que sus recuentos diverjan. Por eso, un ajuste de concurrencia de solicitudes no es un limitador completo de conexiones ni de tasa.
Mantenga el ritmo del sitio de destino como una restricción aparte. Una concurrencia menor o un retraso de descarga pueden seguir siendo adecuados para un destino concreto incluso cuando la cuenta de proxy tiene capacidad sin usar.