Scrapy AutoThrottle د پروکسي له لارې: سلاټونه او ځنډ
د هدف سایټ د ډاونلوډ سلاټونه د پروکسي لارو څخه جلا وساتئ او ځنډ د لیدل شوې غوښتنې لارې په توګه تفسیر کړئ.
په ډیفالټ ډول Scrapy د غوښتنې د URL له ډومین څخه ډاونلوډ سلاټونه ټاکي. غوښتنې ته د HTTP پروکسي ورکول هغه URL د پروکسي د کوربه نوم ته نه بدلوي. نو له همدې امله بېلابېلو سایټونو ته غوښتنې کولای شي یو منځګړی شریک کړي او بیا هم بېلابېل سلاټونه وساتي.
AutoThrottle د لیدل شوي ډاونلوډ ځنډ په کارولو سره د هر سلاټ ځنډ تنظیموي. د هر ډومین لپاره معیاري هممهالۍ حد او لږ تر لږه ډاونلوډ ځنډ لا هم پلي کیږي.
د الګوریتم بدلولو دمخه ګروپ کول وګورئ
دودیز middleware کولای شي request.meta["download_slot"] وټاکي، چې د سلاټ عادي غوره توب له پامه غورځوي. ځینې پروکسي غزونې خپل ګروپ کول کاروي. که بې تړاوه سایټونه یو محدودونکی شریکوي، هغه تنظیمات وګورئ.
په برعکس، د هر پروکسي لپاره جلا سلاټ ټاکل کولای شي څو پروکسي په یو وخت یو هدف ته اړیکه ونیسي. دا کولای شي د ټول سایټ هغه حد مات کړي چې کرالر باید درناوی یې کړی وی. د ساتل شوي سرچینې له مخې د سلاټ کیلي وټاکئ.
ځنډ هغه لاره هم رانغاړي چې تاسو کارولې
Scrapy ځنډ د غوښتنې له لیږلو څخه تر HTTP سرلیکونو ترلاسه کولو پورې اندازه کوي. هغه غوښتنه چې د پروکسي له لارې وړل کیږي کولای شي په دې کتنه کې د منځګړي قطار او لیږد ځنډ شامل کړي. AutoThrottle یوازې د سرچینې لپاره جلا پروسس کول وخت نه ترلاسه کوي.
د هممهالۍ زیاتول نشي کولای چې دا اندازه سایټ جلا کړي. کله چې دواړه مهم وي، د هدف سره ادب او د پروکسي ظرفیت د جلا حدونو په توګه وساتئ. شریک پروکسي کېدای شي د هدف سلاټونو په اوږدو کې اضافي هممهالۍ بودیجه ته اړتیا ولري، په داسې حال کې چې هر هدف خپله د سرعت تګلاره ساتي.