Scrapy-proxy-gelijktijdigheid over meerdere domeinen
Gebruik de globale gelijktijdigheidslimiet van de downloader wanneer meerdere doeldomeinen hetzelfde proxyquotum verbruiken, en reken dan ook andere crawlers mee die dat account delen.
Als elke bestemming één proxyaccount gebruikt, kan de limiet voor gelijktijdige verzoeken van dat account over al die bestemmingen worden verbruikt. Een limiet per domein alleen drukt dat gedeelde budget niet uit.
Voor een hypothetisch account dat maximaal 20 gelijktijdige verzoeken toestaat, houd wat ruimte vrij en stel de globale downloaderlimiet van de crawler in:
CONCURRENT_REQUESTS = 16Dit is een illustratieve verdeling, geen aanbevolen waarde voor elke provider. Scrapy definieert CONCURRENT_REQUESTS als het maximale aantal gelijktijdige verzoeken van de downloader. Besturing per domein kan de gelijktijdigheid verder verlagen; die vervangt het globale plafond niet.
Neem andere crawlers mee in de berekening. Twee onafhankelijke crawlers met elk 16 toegestane verzoeken kunnen samen een gedeeld quotum van 20 overschrijden. Verdeel het budget bewust of dwing een gedeelde limiet af waar die clients samenkomen.
Stel ook vast wat de provider telt. HTTP-verzoeken, open TCP-verbindingen, actieve tunnels en verzoeken per seconde zijn verschillende grootheden. Permanente verbindingen en multiplexing kunnen hun aantallen uiteen laten lopen. Een instelling voor verzoeksgelijktijdigheid is dus geen volledige verbindings- of snelheidsbegrenzer.
Houd het tempo van de doelsite als een aparte beperking. Een lagere gelijktijdigheid of een downloadvertraging kan voor een afzonderlijke bestemming nog steeds passend zijn, ook wanneer het proxyaccount ongebruikte capaciteit heeft.