प्रॉक्सीद्वारे Scrapy AutoThrottle: स्लॉट आणि विलंब

डीफॉल्टनुसार Scrapy विनंती URL च्या डोमेनवरून डाउनलोड स्लॉट नियुक्त करते. विनंतीला HTTP प्रॉक्सी दिल्याने ती URL प्रॉक्सीचे होस्टनाव होत नाही. त्यामुळे वेगवेगळ्या साइट्सकडील विनंत्या एकच मध्यस्थ सामायिक करूनही वेगवेगळे स्लॉट ठेवू शकतात.

AutoThrottle निरीक्षित डाउनलोड विलंब वापरून प्रत्येक स्लॉटचा विलंब समायोजित करते. मानक प्रति-डोमेन समवर्ती मर्यादा आणि किमान डाउनलोड विलंब अजूनही लागू आहेत.

अल्गोरिदम बदलण्यापूर्वी गट करणे तपासा

कस्टम मिडलवेअर request.meta["download_slot"] नियुक्त करू शकते, ज्यामुळे नेहमीची स्लॉट निवड बदलते. काही प्रॉक्सी विस्तार आपले स्वतःचे गट करणे वापरतात. संबंध नसलेल्या साइट्स एकच थ्रॉटल सामायिक करत असल्यास ती सेटिंग्ज तपासा.

उलटपक्षी, प्रत्येक प्रॉक्सीसाठी वेगळा स्लॉट दिल्यास अनेक प्रॉक्सी एकाच वेळी एकाच लक्ष्याशी संपर्क साधू शकतात. यामुळे क्रॉलरने पाळायची साइट-व्यापी मर्यादा मोडू शकते. संरक्षित संसाधनानुसार स्लॉट की निवडा.

विलंबात तुम्ही वापरलेला मार्ग समाविष्ट आहे

Scrapy विनंती पाठवल्यापासून HTTP हेडर मिळेपर्यंतचा विलंब मोजते. प्रॉक्सीतून जाणाऱ्या विनंतीमध्ये त्या निरीक्षणात मध्यस्थाचा रांग आणि अग्रेषण विलंब समाविष्ट होऊ शकतो. AutoThrottle फक्त मूळासाठी स्वतंत्र प्रक्रिया वेळ मिळवत नाही.

समवर्तीता वाढवून ते मापन साइट वेगळी करू शकत नाही. दोन्ही महत्त्वाचे असताना लक्ष्याबद्दलची सौजन्यता आणि प्रॉक्सी क्षमता वेगळ्या मर्यादा म्हणून ठेवा. सामायिक प्रॉक्सीला लक्ष्य स्लॉटमध्ये अतिरिक्त समवर्ती बजेट लागू शकते, तर प्रत्येक लक्ष्य आपले स्वतःचे दर धोरण ठेवते.