અનેક ડોમેનમાં Scrapy પ્રોક્સી સમવર્તીતા
ઘણા લક્ષ્ય ડોમેન એક જ પ્રોક્સી ક્વોટા વાપરે ત્યારે ડાઉનલોડરની વૈશ્વિક સમવર્તીતા મર્યાદા વાપરો, પછી એ જ ખાતું વહેંચતા બીજા ક્રોલરોનો પણ હિસાબ રાખો.
જો દરેક ગંતવ્ય એક જ પ્રોક્સી ખાતું વાપરે, તો તે ખાતાની સમકાલીન વિનંતીઓની પરવાનગી એ બધા ગંતવ્યોમાં ખર્ચાઈ શકે. ફક્ત પ્રતિ-ડોમેન મર્યાદા તે વહેંચાયેલ બજેટ વ્યક્ત કરતી નથી.
વધુમાં વધુ 20 સમકાલીન વિનંતીઓની પરવાનગી આપતા કાલ્પનિક ખાતા માટે, થોડી જગ્યા રાખો અને ક્રોલરની વૈશ્વિક ડાઉનલોડર મર્યાદા સેટ કરો:
CONCURRENT_REQUESTS = 16આ ઉદાહરણરૂપ ફાળવણી છે, દરેક પ્રદાતા માટે ભલામણ કરેલ મૂલ્ય નથી. Scrapy CONCURRENT_REQUESTSને ડાઉનલોડરની મહત્તમ સમકાલીન વિનંતીઓની સંખ્યા તરીકે વ્યાખ્યાયિત કરે છે. પ્રતિ-ડોમેન નિયંત્રણો સમવર્તીતા વધુ ઘટાડી શકે છે; પણ વૈશ્વિક ટોચમર્યાદાને બદલતા નથી.
બીજા ક્રોલરોને પણ ગણતરીમાં સામેલ કરો. બે સ્વતંત્ર ક્રોલર, જેમાં દરેકને 16 વિનંતીઓની પરવાનગી છે, સાથે મળીને 20ની વહેંચાયેલ પરવાનગી વટાવી શકે છે. બજેટ જાણી જોઈને વિભાજિત કરો અથવા જ્યાં તે ક્લાયન્ટ મળે ત્યાં સહિયારી મર્યાદા લાગુ કરો.
પ્રદાતા શું ગણે છે તે પણ નક્કી કરો. HTTP વિનંતીઓ, ખુલ્લા TCP કનેક્શન, સક્રિય ટનલ અને પ્રતિ સેકન્ડ વિનંતીઓ — આ જુદા જુદા જથ્થા છે. ચાલુ કનેક્શન અને મલ્ટિપ્લેક્સિંગ તેમની ગણતરી અલગ કરી શકે છે. તેથી વિનંતી-સમવર્તીતાનું સેટિંગ સંપૂર્ણ કનેક્શન કે દર મર્યાદક નથી.
લક્ષ્ય સાઇટની ગતિને અલગ મર્યાદા તરીકે રાખો. પ્રોક્સી ખાતામાં ન વપરાયેલી ક્ષમતા હોવા છતાં, એક ચોક્કસ ગંતવ્ય માટે ઓછી સમવર્તીતા કે ડાઉનલોડ વિલંબ યોગ્ય રહી શકે છે.