Concorrenza del proxy Scrapy su più domini
Usate il limite globale di concorrenza dello scaricatore quando più domini di destinazione consumano la stessa quota proxy, poi considerate anche gli altri crawler che condividono quell'account.
Se ogni destinazione usa un solo account proxy, la quota di richieste simultanee di quell'account può esaurirsi su tutte quelle destinazioni. Un limite per dominio da solo non esprime questo budget condiviso.
Per un account ipotetico che consente al massimo 20 richieste simultanee, lasciate un margine e impostate il limite globale dello scaricatore del crawler:
CONCURRENT_REQUESTS = 16Questa è un'assegnazione illustrativa, non un valore consigliato per ogni fornitore. Scrapy definisce CONCURRENT_REQUESTS come il numero massimo di richieste simultanee dello scaricatore. I controlli per dominio possono ridurre ulteriormente la concorrenza; non sostituiscono il tetto globale.
Includete gli altri crawler nel calcolo. Due crawler indipendenti, ciascuno autorizzato a 16 richieste, possono insieme superare una quota condivisa di 20. Dividete il budget deliberatamente o applicate un limite condiviso dove quei client convergono.
Stabilite anche che cosa conta il fornitore. Le richieste HTTP, le connessioni TCP aperte, i tunnel attivi e le richieste al secondo sono grandezze diverse. Le connessioni persistenti e il multiplexing possono far divergere i conteggi. Un'impostazione di concorrenza delle richieste non è quindi un limitatore completo di connessioni né di velocità.
Mantenete il ritmo del sito di destinazione come vincolo separato. Una concorrenza inferiore o un ritardo di download possono restare adatti a una singola destinazione anche quando l'account proxy ha capacità inutilizzata.