Паралелност Scrapy проксија на више домена
Користите глобално ограничење паралелности преузимача када више циљних домена троши исту проксијску квоту, а затим узмите у обзир и друге crawler-е који деле тај налог.
Ако свако одредиште користи један прокси налог, дозвола за истовремене захтеве тог налога може се потрошити на свим тим одредиштима. Ограничење само по домену не изражава тај заједнички буџет.
За хипотетички налог који дозвољава највише 20 истовремених захтева, оставите мало простора и поставите глобално ограничење преузимача crawler-а:
CONCURRENT_REQUESTS = 16Ово је илустративна расподела, а не препоручена вредност за сваког провајдера. Scrapy дефинише CONCURRENT_REQUESTS као највећи број истовремених захтева преузимача. Контроле по домену могу додатно смањити паралелност; не замењују глобални горњи лимит.
Укључите и друге crawler-е у прорачун. Два независна crawler-а, сваки са дозвољених 16 захтева, могу заједно премашити заједничку дозволу од 20. Намерно поделите буџет или успоставите заједничко ограничење тамо где се ти клијенти спајају.
Утврдите и шта провајдер броји. HTTP захтеви, отворене TCP везе, активни тунели и захтеви у секунди различите су величине. Трајне везе и мултиплексирање могу раздвојити њихове бројеве. Зато подешавање паралелности захтева није потпуни ограничивач веза ни брзине.
Држите темпо циљног сајта као засебно ограничење. Мања паралелност или кашњење преузимања и даље може бити прикладно за појединачно одредиште чак и када прокси налог има неискоришћен капацитет.