Súbežnosť Scrapy cez proxy naprieč viacerými doménami
Použite globálny limit súbežnosti sťahovača, keď viacero cieľových domén spotrebúva rovnakú kvótu proxy, a zohľadnite aj ďalšie crawlery, ktoré zdieľajú ten istý účet.
Ak každý cieľ používa jeden proxy účet, povolený počet súčasných požiadaviek tohto účtu sa môže vyčerpať naprieč všetkými týmito cieľmi. Samotný limit na doménu tento zdieľaný rozpočet nevyjadruje.
Pre hypotetický účet, ktorý povoľuje najviac 20 súčasných požiadaviek, ponechajte určitú rezervu a nastavte globálny limit sťahovača crawlera:
CONCURRENT_REQUESTS = 16Ide o ilustratívne rozdelenie, nie o odporúčanú hodnotu pre každého poskytovateľa. Scrapy definuje CONCURRENT_REQUESTS ako maximálny počet súčasných požiadaviek sťahovača. Obmedzenia na doménu môžu súbežnosť ďalej znížiť; nenahrádzajú však globálny strop.
Zahrňte do výpočtu aj ďalšie crawlery. Dva nezávislé crawlery, z ktorých každý smie mať 16 požiadaviek, môžu spolu prekročiť zdieľané povolenie 20. Rozpočet rozdeľte zámerne alebo v mieste, kde sa títo klienti zbiehajú, zaviedol zdieľaný limit.
Zistite aj to, čo poskytovateľ počíta. Požiadavky HTTP, otvorené TCP spojenia, aktívne tunely a požiadavky za sekundu sú rôzne veličiny. Trvalé spojenia a multiplexovanie môžu ich počty rozdeliť. Nastavenie súbežnosti požiadaviek preto nie je úplným obmedzovačom spojení ani rýchlosti.
Ponechajte tempo cieľovej stránky ako samostatné obmedzenie. Nižšia súbežnosť alebo oneskorenie sťahovania môže byť pre jednotlivý cieľ vhodné aj vtedy, keď má proxy účet nevyužitú kapacitu.