प्रोक्सीमार्फत Scrapy AutoThrottle: स्लट र ढिलाइ

पूर्वनिर्धारित रूपमा Scrapy ले अनुरोध URL को डोमेनबाट डाउनलोड स्लटहरू तोक्छ। कुनै अनुरोधलाई HTTP प्रोक्सी दिँदा त्यो URL प्रोक्सीको होस्टनाम बन्दैन। त्यसैले फरक-फरक साइटका अनुरोधहरूले एउटै मध्यस्थ साझा गर्दै फरक-फरक स्लट राख्न सक्छन्।

AutoThrottle ले अवलोकन गरिएको डाउनलोड ढिलाइ प्रयोग गरी प्रत्येक स्लटको ढिलाइ समायोजन गर्छ। मानक प्रति-डोमेन समवर्ती सीमा र न्यूनतम डाउनलोड ढिलाइ अझै लागू हुन्छन्।

एल्गोरिदम परिवर्तन गर्नुअघि समूहीकरण जाँच्नुहोस्

अनुकूलित मिडलवेयरले request.meta["download_slot"] तोक्न सक्छ, जसले सामान्य स्लट चयनलाई ओभरराइड गर्छ। केही प्रोक्सी एक्सटेन्सनले आफ्नै समूहीकरण प्रयोग गर्छन्। सम्बन्ध नभएका साइटहरूले एउटै थ्रोटल साझा गरेको देखिन्छ भने ती सेटिङहरू जाँच्नुहोस्।

यसको विपरीत, प्रत्येक प्रोक्सीका लागि फरक स्लट तोक्दा धेरै प्रोक्सीले एकै समयमा एउटै लक्ष्यलाई सम्पर्क गर्न सक्छन्। यसले क्रलरले सम्मान गर्नुपर्ने साइट-व्यापी सीमा तोड्न सक्छ। संरक्षित स्रोतअनुसार स्लट कुञ्जी छान्नुहोस्।

ढिलाइमा तपाईंले प्रयोग गरेको मार्ग समावेश हुन्छ

Scrapy ले अनुरोध पठाएदेखि HTTP हेडर प्राप्त नभएसम्मको ढिलाइ नाप्छ। प्रोक्सीबाट गुज्रने अनुरोधले त्यो अवलोकनमा मध्यस्थको कतार र फर्वार्डिङ ढिलाइ समावेश गर्न सक्छ। AutoThrottle ले मूलका लागि मात्र छुट्टै प्रशोधन समय पाउँदैन।

समवर्तीता बढाउँदा त्यो मापनले साइटलाई अलग गर्न सक्दैन। दुवै महत्त्वपूर्ण हुँदा लक्ष्यप्रतिको शिष्टता र प्रोक्सी क्षमतालाई अलग सीमाका रूपमा राख्नुहोस्। साझा प्रोक्सीलाई लक्ष्य स्लटभर थप समवर्ती बजेट चाहिन सक्छ, जबकि प्रत्येक लक्ष्यले आफ्नै दर नीति राख्छ।