Souběžnost Scrapy přes proxy napříč více doménami

Použijte globální limit souběžnosti stahovače, když několik cílových domén spotřebovává stejnou kvótu proxy, a započítejte i další crawlery, které sdílejí stejný účet.

Pokud každý cíl používá jeden účet proxy, může se povolený počet současných požadavků tohoto účtu vyčerpat napříč všemi těmito cíli. Samotný limit na doménu tento sdílený rozpočet nevyjadřuje.

Pro hypotetický účet, který povoluje nejvýše 20 současných požadavků, ponechte určitou rezervu a nastavte globální limit stahovače crawleru:

CONCURRENT_REQUESTS = 16

Jde o ilustrativní rozdělení, nikoli o doporučenou hodnotu pro každého poskytovatele. Scrapy definuje CONCURRENT_REQUESTS jako maximální počet současných požadavků stahovače. Omezení na doménu mohou souběžnost dále snížit; nenahrazují však globální strop.

Zahrňte do výpočtu i další crawlery. Dva nezávislé crawlery, z nichž každý smí mít 16 požadavků, mohou společně překročit sdílené povolení 20. Rozpočet rozdělte záměrně nebo v místě, kde se tito klienti sbíhají, zaveďte sdílený limit.

Také zjistěte, co poskytovatel počítá. Požadavky HTTP, otevřená TCP spojení, aktivní tunely a požadavky za sekundu jsou různé veličiny. Trvalá spojení a multiplexing mohou jejich počty rozejít. Nastavení souběžnosti požadavků proto není úplným omezovačem spojení ani rychlosti.

Ponechte tempo cílového webu jako samostatné omezení. Nižší souběžnost nebo zpoždění stahování může být pro jednotlivý cíl vhodné i tehdy, když má účet proxy nevyužitou kapacitu.

Související články