Concurrence du proxy Scrapy sur plusieurs domaines
Utilisez le plafond global de concurrence du téléchargeur lorsque plusieurs domaines cibles consomment le même quota de proxy, puis tenez compte des autres robots qui partagent ce compte.
Si chaque destination utilise un seul compte proxy, le quota de requêtes simultanées de ce compte peut être consommé sur toutes ces destinations. Une limite par domaine, à elle seule, n'exprime pas ce budget partagé.
Pour un compte hypothétique autorisant au plus 20 requêtes simultanées, gardez une marge et fixez le plafond global du téléchargeur du robot :
CONCURRENT_REQUESTS = 16Il s'agit d'une répartition illustrative, pas d'une valeur recommandée pour tous les fournisseurs. Scrapy définit CONCURRENT_REQUESTS comme le nombre maximal de requêtes simultanées du téléchargeur. Les contrôles par domaine peuvent réduire encore la concurrence ; ils ne remplacent pas le plafond global.
Intégrez les autres robots au calcul. Deux robots indépendants autorisés à 16 requêtes chacun peuvent ensemble dépasser un quota partagé de 20. Répartissez le budget délibérément ou imposez une limite commune là où ces clients se rejoignent.
Déterminez aussi ce que le fournisseur compte. Les requêtes HTTP, les connexions TCP ouvertes, les tunnels actifs et les requêtes par seconde sont des grandeurs différentes. Les connexions persistantes et le multiplexage peuvent faire diverger leurs décomptes. Un réglage de concurrence des requêtes n'est donc pas un limiteur complet de connexions ni de débit.
Gardez le rythme du site cible comme contrainte distincte. Une concurrence plus faible ou un délai de téléchargement peuvent rester appropriés pour une destination donnée même lorsque le compte proxy dispose d'une capacité inutilisée.