Concorrencia do proxy de Scrapy en varios dominios
Use o límite global de concorrencia do descargador cando varios dominios obxectivo consomen a mesma cota de proxy e despois conte tamén outros rastreadores que comparten esa conta.
Se cada destino usa unha soa conta de proxy, a cota de solicitudes simultáneas desa conta pode consumirse entre todos eses destinos. Un límite por dominio por si só non expresa ese orzamento compartido.
Para unha conta hipotética que permite como máximo 20 solicitudes simultáneas, deixe certa marxe e fixe o límite global do descargador do rastrexador:
CONCURRENT_REQUESTS = 16Esta é unha asignación ilustrativa, non un valor recomendado para todos os provedores. Scrapy define CONCURRENT_REQUESTS como o número máximo de solicitudes simultáneas do descargador. Os controis por dominio poden reducir aínda máis a concorrencia; non substitúen o teito global.
Inclúa outros rastrexadores no cálculo. Dous rastrexadores independentes con 16 solicitudes cada un poden superar xuntos unha cota compartida de 20. Divida o orzamento de forma deliberada ou aplique un límite compartido onde converxen eses clientes.
Estableza tamén que conta o provedor. As solicitudes HTTP, as conexións TCP abertas, os túneles activos e as solicitudes por segundo son cantidades distintas. As conexións persistentes e a multiplexación poden facer que os seus reconto diverxan. Por iso, un axuste de concorrencia de solicitudes non é un limitador completo de conexións nin de taxa.
Manteña o ritmo do sitio obxectivo como unha restrición aparte. Unha concorrencia menor ou un atraso de descarga poden seguir sendo axeitados para un destino concreto mesmo cando a conta de proxy ten capacidade sen usar.