Scrapy AutoThrottle iyada oo loo marayo proxy: slots iyo daahitaan
Kala sooc slots-ka soo-dejinta ee site-ka bartilmaameedka iyo waddooyinka proxy, oo u tarjun daahitaanka sida waddada codsiga ee la arkay.
Si caadi ah, Scrapy waxay u qoondaysaa slots-ka soo-dejinta domain-ka URL-ka codsiga. Codsiga in la siiyo HTTP proxy ma beddelo URL-kaas oo u noqdo magaca host-ka proxy-ga. Sidaas awgeed codsiyada loo diro site-yo kala duwan waxay hayn karaan slots kala duwan iyagoo wadaagaya hal dhexdhexaadiye.
AutoThrottle waxay hagaajisaa daahitaanka slot kasta iyadoo isticmaalaysa daahitaanka soo-dejinta ee la arkay. Xaddiga caadiga ah ee isku-buuqa domain kasta iyo daahitaanka ugu yar ee soo-dejinta ayaa weli khuseeya.
Hubi kooxaynta ka hor intaadan beddelin algorithm-ka
Middleware gaar ah ayaa qoondayn kara request.meta["download_slot"], isagoo ka sarreynaya xulashada slot-ka caadiga ah. Qaar ka mid ah kordhinta proxy-ga waxay isticmaalaan kooxayn u gaar ah. Baadh dejintaas haddii site-yo aan xiriir la lahayn ay u muuqdaan inay wadaagaan hal xakameyn.
Taa lidkeeda, qoondaynta slot ka duwan proxy kasta waxay u oggolaan kartaa proxy-yo badan inay isku mar la xiriiraan isla bartilmaameed. Taasi waxay wiiqi kartaa xad site-ka oo dhan ah oo ay ahayd inuu crawler-ku ixtiraamo. Dooro furaha slot-ka iyadoo loo eegayo kheyraadka la ilaalinayo.
Daahitaanku wuxuu ku darayaa waddada aad isticmaashay
Scrapy waxay cabbirtaa daahitaanka laga bilaabo dirista codsiga ilaa helista cinwaannada HTTP. Codsiga lagu qaado proxy wuxuu ku dari karaa safka iyo daahitaanka gudbinta dhexdhexaadiyaha cabbirkaas. AutoThrottle ma helo waqti hawleed gooni ah oo asalka kaliya ah.
Kordhinta isku-buuqa ma ka dhigayso cabbirkaas mid go'doomiya site-ka. Hayso edebka bartilmaameedka iyo awoodda proxy-ga sidii xadrooyin gooni ah marka labaduba muhiim yihiin. Proxy la wadaago wuxuu u baahan karaa miisaaniyad isku-buqo dheeraad ah oo ka gudubta slots-ka bartilmaameedyada, halka bartilmaameed kastaa uu hayo siyaasaddiisa xawaaraha.