अनेक डोमेनवर Scrapy प्रॉक्सी समवर्तीता

प्रत्येक गंतव्य एकच प्रॉक्सी खाते वापरत असेल, तर त्या खात्याची समवर्ती विनंत्यांची परवानगी त्या सर्व गंतव्यांमध्ये खर्च होऊ शकते. केवळ प्रति-डोमेन मर्यादा ते सामायिक अर्थसंकल्प व्यक्त करत नाही.

जास्तीत जास्त 20 समवर्ती विनंत्या अनुमत करणाऱ्या काल्पनिक खात्यासाठी थोडी जागा ठेवून क्रॉलरची जागतिक डाउनलोडर मर्यादा निश्चित करा:

CONCURRENT_REQUESTS = 16

हे उदाहरणात्मक वाटप आहे, प्रत्येक पुरवठादारासाठी शिफारस केलेले मूल्य नाही. Scrapy CONCURRENT_REQUESTS ला डाउनलोडरच्या कमाल समवर्ती विनंत्यांची संख्या म्हणून परिभाषित करते. प्रति-डोमेन नियंत्रणे समवर्तीता आणखी कमी करू शकतात; पण जागतिक वरची मर्यादा बदलत नाहीत.

इतर क्रॉलरही गणनेत घ्या. प्रत्येकाला 16 विनंत्यांची परवानगी असलेले दोन स्वतंत्र क्रॉलर मिळून 20 ची सामायिक परवानगी ओलांडू शकतात. अर्थसंकल्प जाणीवपूर्वक विभागा किंवा ते क्लायंट जिथे एकत्र येतात तिथे सामायिक मर्यादा लागू करा.

पुरवठादार काय मोजतो हेही निश्चित करा. HTTP विनंत्या, उघडे TCP कनेक्शन, सक्रिय बोगदे आणि प्रति सेकंद विनंत्या या वेगवेगळ्या परिमाण आहेत. सततची कनेक्शन आणि मल्टिप्लेक्सिंग त्यांची संख्या वेगळी करू शकतात. त्यामुळे विनंती-समवर्तीतेची सेटिंग पूर्ण कनेक्शन किंवा दर मर्यादक नाही.

लक्ष्य साइटची गती वेगळी अट म्हणून ठेवा. प्रॉक्सी खात्यात न वापरलेली क्षमता असली तरी एखाद्या विशिष्ट गंतव्यासाठी कमी समवर्तीता किंवा डाउनलोड विलंब योग्य ठरू शकतो.