कई डोमेन पर Scrapy प्रॉक्सी समवर्तीता

अगर हर गंतव्य एक ही प्रॉक्सी खाते का उपयोग करता है, तो उस खाते की समवर्ती अनुरोध अनुमति उन सभी गंतव्यों में खर्च हो सकती है। केवल प्रति-डोमेन सीमा उस साझा बजट को व्यक्त नहीं करती।

ऐसे काल्पनिक खाते के लिए जो अधिकतम 20 समवर्ती अनुरोधों की अनुमति देता है, कुछ जगह बचाकर क्रॉलर की वैश्विक डाउनलोडर सीमा निर्धारित करें:

CONCURRENT_REQUESTS = 16

यह एक उदाहरणात्मक आवंटन है, हर प्रदाता के लिए सुझाया गया मान नहीं। Scrapy CONCURRENT_REQUESTS को डाउनलोडर के अधिकतम समवर्ती अनुरोधों की संख्या के रूप में परिभाषित करता है। प्रति-डोमेन नियंत्रण समवर्तीता को और घटा सकते हैं; वे वैश्विक सीमा का स्थान नहीं लेते।

दूसरे क्रॉलरों को भी गणना में शामिल करें। दो स्वतंत्र क्रॉलर, जिनमें से प्रत्येक को 16 अनुरोधों की अनुमति है, मिलकर 20 की साझा अनुमति से आगे बढ़ सकते हैं। बजट को जानबूझकर बाँटें या जहाँ वे क्लाइंट मिलते हैं वहाँ साझा सीमा लागू करें।

यह भी तय करें कि प्रदाता क्या गिनता है। HTTP अनुरोध, खुले TCP कनेक्शन, सक्रिय सुरंगें और प्रति सेकंड अनुरोध अलग-अलग मात्राएँ हैं। दीर्घकालिक कनेक्शन और मल्टीप्लेक्सिंग उनकी गिनती अलग कर सकते हैं। इसलिए अनुरोध-समवर्तीता की सेटिंग पूर्ण कनेक्शन या दर सीमक नहीं है।

लक्ष्य साइट की गति को अलग बाधा के रूप में रखें। प्रॉक्सी खाते में अप्रयुक्त क्षमता होने पर भी किसी एक गंतव्य के लिए कम समवर्तीता या डाउनलोड देरी उपयुक्त रह सकती है।