Scrapy AutoThrottle kupitia proksi: nafasi na ucheleweshaji
Tenganisha nafasi za upakuaji za tovuti lengwa na njia za proksi, na ufafanue ucheleweshaji kama njia ya ombi iliyozingatiwa.
Kwa chaguo-msingi, Scrapy hugawa nafasi za upakuaji kulingana na kikoa cha URL ya ombi. Kumpa ombi proksi ya HTTP hakubadilishi URL hiyo kuwa jina la mwenyeji wa proksi. Kwa hivyo maombi kwa tovuti tofauti yanaweza kubaki na nafasi tofauti huku yakishiriki mpatanishi mmoja.
AutoThrottle hurekebisha ucheleweshaji wa kila nafasi kwa kutumia ucheleweshaji wa upakuaji uliozingatiwa. Kikomo cha kawaida cha usambamba kwa kila kikoa na ucheleweshaji wa chini kabisa wa upakuaji bado vinatumika.
Kagua upangaji kabla ya kubadilisha algoriti
Middlewia maalum inaweza kugawa request.meta["download_slot"], ikipuuza uchaguzi wa kawaida wa nafasi. Baadhi ya viendelezi vya proksi hutumia upangaji wao wenyewe. Kagua mipangilio hiyo ikiwa tovuti zisizohusiana zinaonekana kushiriki kizuizi kimoja.
Kinyume chake, kugawa nafasi tofauti kwa kila proksi kunaweza kuruhusu proksi nyingi kuwasiliana na lengo moja kwa wakati mmoja. Hilo linaweza kudhoofisha kikomo cha tovuti nzima ambacho mtambazaji alipaswa kuheshimu. Chagua ufunguo wa nafasi kulingana na rasilimali inayolindwa.
Ucheleweshaji unajumuisha njia uliyotumia
Scrapy hupima ucheleweshaji kuanzia kutuma ombi hadi kupokea vichwa vya HTTP. Ombi linalobebwa kupitia proksi linaweza kujumuisha ucheleweshaji wa foleni na uwasilishaji wa mpatanishi katika kipimo hicho. AutoThrottle haipati muda tofauti wa uchakataji wa chanzo pekee.
Kuongeza usambamba hakuwezi kufanya kipimo hicho kitengee tovuti. Weka adabu kwa lengo na uwezo wa proksi kama vikomo tofauti wakati vyote viwili ni muhimu. Proksi inayoshirikiwa inaweza kuhitaji bajeti ya ziada ya usambamba katika nafasi za malengo, huku kila lengo likibaki na sera yake ya kasi.