Sabayang pagpapatupad ng proxy ng Scrapy sa maraming domain
Gamitin ang pangkalahatang limitasyon ng sabayang pagpapatupad ng downloader kapag maraming target na domain ang kumakain ng parehong quota ng proxy, at isama rin ang iba pang crawler na nagbabahagi ng account.
Kung bawat destinasyon ay gumagamit ng isang account ng proxy, ang pinapayagang sabayang kahilingan ng account na iyon ay maaaring maubos sa lahat ng mga destinasyong iyon. Ang limitasyon sa bawat domain lamang ay hindi nagpapahayag ng pinagsamang badyet na iyon.
Para sa isang hipotetikal na account na pinapayagan ang pinakamaraming 20 sabayang kahilingan, mag-iwan ng kaunting espasyo at itakda ang pangkalahatang limitasyon ng downloader ng crawler:
CONCURRENT_REQUESTS = 16Ito ay isang halimbawang paghahati, hindi isang inirerekomendang halaga para sa bawat provider. Tinutukoy ng Scrapy ang CONCURRENT_REQUESTS bilang pinakamataas na bilang ng sabayang kahilingan ng downloader. Ang mga kontrol sa bawat domain ay makakapagpababa pa ng sabayang pagpapatupad; hindi nila pinapalitan ang pangkalahatang kisame.
Isama ang iba pang crawler sa kalkulasyon. Dalawang independiyenteng crawler na pinapayagan ang tig-16 na kahilingan ay maaaring magkasamang lumampas sa pinagsamang quota na 20. Hatiin ang badyet nang sinasadya o ipatupad ang pinagsamang limitasyon kung saan nagtatagpo ang mga client na iyon.
Alamin din kung ano ang binibilang ng provider. Ang mga kahilingang HTTP, bukas na koneksyong TCP, aktibong tunnel at kahilingan kada segundo ay magkakaibang dami. Ang tuloy-tuloy na koneksyon at multiplexing ay maaaring magpaiba ng kanilang bilang. Kaya ang setting ng sabayang kahilingan ay hindi ganap na tagapaglimita ng koneksyon o bilis.
Panatilihin ang takbo ng target na site bilang hiwalay na hadlang. Ang mas mababang sabayang pagpapatupad o antala sa pag-download ay maaari pa ring angkop para sa isang destinasyon kahit may hindi pa nagagamit na kapasidad ang account ng proxy.