धेरै डोमेनमा Scrapy प्रोक्सी समवर्तीता
धेरै लक्ष्य डोमेनले एउटै प्रोक्सी कोटा खपत गर्दा डाउनलोडरको विश्वव्यापी समवर्तीता सीमा प्रयोग गर्नुहोस्, त्यसपछि त्यही खाता साझा गर्ने अन्य क्रलरलाई पनि गन्नुहोस्।
यदि प्रत्येक गन्तव्यले एउटै प्रोक्सी खाता प्रयोग गर्छ भने त्यो खाताको समवर्ती अनुरोध स्वीकृति ती सबै गन्तव्यमा खर्च हुन सक्छ। प्रति-डोमेन सीमा मात्रले त्यो साझा बजेट व्यक्त गर्दैन।
अधिकतम 20 समवर्ती अनुरोध स्वीकार गर्ने काल्पनिक खाताका लागि केही ठाउँ छाडेर क्रलरको विश्वव्यापी डाउनलोडर सीमा निर्धारण गर्नुहोस्:
CONCURRENT_REQUESTS = 16यो उदाहरणात्मक बाँडफाँट हो, प्रत्येक प्रदायकका लागि सिफारिस गरिएको मान होइन। Scrapy ले CONCURRENT_REQUESTS लाई डाउनलोडरको अधिकतम समवर्ती अनुरोध संख्या परिभाषित गर्छ। प्रति-डोमेन नियन्त्रणले समवर्तीता अझ घटाउन सक्छ; तर विश्वव्यापी माथिल्लो सीमा प्रतिस्थापन गर्दैन।
अन्य क्रलरलाई पनि गणनामा समेट्नुहोस्। प्रत्येकलाई 16 अनुरोधको स्वीकृति भएका दुई स्वतन्त्र क्रलरले मिलेर 20 को साझा स्वीकृति नाघ्न सक्छन्। बजेट जानाजान विभाजन गर्नुहोस् वा ती क्लाइन्ट भेटिने ठाउँमा साझा सीमा लागू गर्नुहोस्।
प्रदायकले के गन्छ भन्ने पनि निर्धारण गर्नुहोस्। HTTP अनुरोध, खुला TCP जडान, सक्रिय सुरुङ र प्रति सेकेन्ड अनुरोध फरक परिमाण हुन्। दीर्घकालीन जडान र मल्टिप्लेक्सिङले तिनीहरूको गणना फरक बनाउन सक्छ। त्यसैले अनुरोध-समवर्तीता सेटिङ पूर्ण जडान वा दर सीमक होइन।
लक्ष्य साइटको गति लाई छुट्टै अवरोधका रूपमा राख्नुहोस्। प्रोक्सी खातामा नप्रयोग गरिएको क्षमता भए पनि एक व्यक्तिगत गन्तव्यका लागि कम समवर्तीता वा डाउनलोड ढिलाइ उपयुक्त हुन सक्छ।