Concorrência do proxy do Scrapy em vários domínios
Use o limite global de concorrência do downloader quando vários domínios de destino consomem a mesma cota de proxy e depois conte também outros rastreadores que compartilham essa conta.
Se cada destino usar uma única conta de proxy, a cota de solicitações simultâneas dessa conta pode ser consumida em todos esses destinos. Um limite por domínio, sozinho, não expressa esse orçamento compartilhado.
Para uma conta hipotética que permite no máximo 20 solicitações simultâneas, deixe certa margem e defina o limite global do downloader do rastreador:
CONCURRENT_REQUESTS = 16Esta é uma distribuição ilustrativa, não um valor recomendado para todos os provedores. O Scrapy define CONCURRENT_REQUESTS como o número máximo de solicitações simultâneas do downloader. Os controles por domínio podem reduzir ainda mais a concorrência; não substituem o teto global.
Inclua outros rastreadores no cálculo. Dois rastreadores independentes com 16 solicitações cada um podem, juntos, exceder uma cota compartilhada de 20. Divida o orçamento de forma deliberada ou aplique um limite compartilhado onde esses clientes convergem.
Estabeleça também o que o provedor conta. Solicitações HTTP, conexões TCP abertas, túneis ativos e solicitações por segundo são grandezas diferentes. Conexões persistentes e multiplexação podem fazer com que as contagens divirjam. Por isso, um ajuste de concorrência de solicitações não é um limitador completo de conexões nem de taxa.
Mantenha o ritmo do site de destino como uma restrição separada. Uma concorrência menor ou um atraso de download podem continuar adequados para um destino específico mesmo quando a conta de proxy tem capacidade não utilizada.