Scrapy-proxy-paralleliteit oer ferskate domeinen
Brûk de algemiene paralleliteitsgrins fan 'e downloader as ferskate doeldomeinen deselde proxykwota brûke, en reken dan ek oare crawlers mei dy itselde akkount diele.
As elke bestimming ien proxyakkount brûkt, kin de tagong foar tagelyk berjochten fan dat akkount oer al dy bestimmingen ferbrûkt wurde. In grins per domein allinnich drukt dat dielde budzjet net út.
Foar in hypotetysk akkount dat op syn heechst 20 tagelyk berjochten tastiet, hâld wat romte frij en set de algemiene downloadergrins fan 'e crawler:
CONCURRENT_REQUESTS = 16Dit is in yllustrative ferdieling, net in oanrekommandearre wearde foar elke provider. Scrapy definiearret CONCURRENT_REQUESTS as it maksimum oantal tagelyk berjochten fan 'e downloader. Kontrôles per domein kinne de paralleliteit fierder ferleegje; se ferfange de algemiene boppegrins net.
Nim ek oare crawlers yn 'e berekkening op. Twa ûnôfhinklike crawlers mei elk 16 tastiene berjochten kinne tegearre in dielde tagong fan 20 oergean. Ferklaitsje it budzjet bewust of twing in mienskiplike grins ôf dêr't dy klanten byinoar komme.
Stel ek fêst wat de provider telt. HTTP-berjochten, iepen TCP-ferbiningen, aktive tunnels en berjochten per sekonde binne ferskillende grutheden. Duorjende ferbiningen en multiplexing kinne harren oantallen útinoar rinne litte. In ynstelling foar berjochtparalleliteit is dus gjin folsleine ferbinings- of taryflimit.
Hâld it tempo fan 'e doelside as in aparte beheining. In legere paralleliteit of in downloadfertraging kin foar in yndividuële bestimming noch altyd passend wêze, sels as it proxyakkount ûnbrûkte kapasiteit hat.