Scrapy proxy samsending yvir fleiri økini
Nýt tann almenna samsendingartakmarkan á niðurtøkuni, tá fleiri máldømi nýta sama proxy-kvotu, og rokn so onnur crawler við, sum deila sama kontu.
Um hvør ferðarmál brúkar eina proxy-konto, kann takmarkið fyri samstundis umbønir á teirri kontuni verða brúkt yvir allar hesar ferðarmál. Ein markan fyri hvørt øki eitt nú vísir ikki hendan sameindu fíggjarætlanina.
Fyri eina hypoteitiska kontu, sum loyvir í mesta lagi 20 samstundis umbønir, halda eitt sindur av oyði og set tann almenna niðurtøkutakmarkan á crawlerinum:
CONCURRENT_REQUESTS = 16Hetta er ein dømisbýti, ikki ein viðmæltur virði fyri hvønn veitara. Scrapy definerar CONCURRENT_REQUESTS sum tað mesta tal av samstundis umbønum á niðurtøkuni. Markanir fyri hvørt øki kunnu minka samsendingina meira; tær koma ikki í staðin fyri ta almennu hæddarmarkina.
Rokna onnur crawler við. Tveir sjálvstøðugir crawlerar, hvør við 16 loyvdum umbønum, kunnu saman fara yvir eina sameinda loyvi á 20. Být fíggjarætlanina við vilja ella set eina sameinda markan har hesir klientar møtast.
Greina eisini, hvat veitarin telur. HTTP-umbønir, opnar TCP-sambindingar, virknar tunlar og umbønir um sekundið eru ymisk støddir. Varandi sambindingar og multiplexing kunnu gera tølini ymisk. Tí er ein stilling fyri samsending av umbønum ikki ein fullkomin markan fyri sambindingar ella ferð.
Halt ferðina á málsíðuni sum eina serstaka avmarking. Minni samsending ella seinking í niðurtøku kann enn vera hóskandi fyri eitt einstakt ferðarmál, sjálvt tá ið proxy-kontan hevur óbrúktan kapasitet.