Scrapy AutoThrottle በፕሮክሲ በኩል፦ ስሎቶች እና መዘግየት

በነባሪነት Scrapy የማውረጃ ስሎቶችን ከጥያቄው URL ጎራ ይመድባል። ለጥያቄው HTTP ፕሮክሲ መስጠት ያንን URL ወደ ፕሮክሲው አስተናጋጅ ስም አይለውጠውም። ስለዚህ ወደ የተለያዩ ጣቢያዎች የሚደረጉ ጥያቄዎች አንድ የመሃል አስተናጋጅ እየተጋሩ የተለያዩ ስሎቶችን ሊይዙ ይችላሉ።

AutoThrottle የእያንዳንዱን ስሎት መዘግየት በተስተዋለው የማውረድ መዘግየት ያስተካክላል። መደበኛው በጎራ የተገደበ ተመሳሳይነት እና አነስተኛ የማውረድ መዘግየት አሁንም ይተገበራሉ።

አልጎሪዝሙን ከመቀየርዎ በፊት መቧደኑን ያረጋግጡ

ብጁ የመሃል ሶፍትዌር request.meta["download_slot"] መመደብ ይችላል፣ ይህም የተለመደውን የስሎት ምርጫ ይሻረካል። አንዳንድ የፕሮክሲ ቅጥያዎች የራሳቸውን ቡድን ይጠቀማሉ። የማይዛመዱ ጣቢያዎች አንድ መግቻ የሚጋሩ መስለው ካዩ እነዚያን ቅንብሮች ይመልከቱ።

በተቃራኒው፣ ለእያንዳንዱ ፕሮክሲ የተለየ ስሎት መመደብ ብዙ ፕሮክሲዎች በአንድ ጊዜ አንድ ዒላማ እንዲያገኙ ያደርጋል። ይህ የመፈለጊያው ማክበር የነበረበትን የጣቢያ አቀፍ ገደብ ሊያሸንፍ ይችላል። የስሎት ቁልፉን በሚጠበቀው ሀብት መሰረት ይምረጡ።

መዘግየቱ የተጠቀሙበትን መንገድ ያካትታል

Scrapy መዘግየትን ከጥያቄው መላኪያ እስከ HTTP ራስጌዎች መቀበያ ይለካል። በፕሮክሲ የሚተላለፍ ጥያቄ የመሃል አስተናጋጁን የወረፋ እና የማስተላለፍ መዘግየት በዚያ ምልከታ ውስጥ ሊያካትት ይችላል። AutoThrottle የተለየ የመነሻ-ብቻ ማቀነባበሪያ ጊዜ አያገኝም።

ተመሳሳይነትን መጨመር ያንን መለኪያ ጣቢያውን ለብቻው እንዲለይ ማድረግ አይችልም። የዒላማ ትህትናንና የፕሮክሲ አቅምን ሁለቱም አስፈላጊ ሲሆኑ እንደ ተለያዩ ገደቦች ይያዙ። የተጋራ ፕሮክሲ በዒላማ ስሎቶች ላይ ተጨማሪ የተመሳሳይነት በጀት ሊፈልግ ይችላል፣ እያንዳንዱ ዒላማ ግን የራሱን የፍጥነት ፖሊሲ ይይዛል።