પ્રોક્સી દ્વારા Scrapy AutoThrottle: સ્લોટ અને લેટન્સી
લક્ષ્ય સાઇટના ડાઉનલોડ સ્લોટને પ્રોક્સી રૂટથી અલગ રાખો અને લેટન્સીને અવલોકિત વિનંતી માર્ગ તરીકે અર્થઘટન કરો.
ડિફોલ્ટ રૂપે Scrapy વિનંતી URLના ડોમેન પરથી ડાઉનલોડ સ્લોટ સોંપે છે. વિનંતીને HTTP પ્રોક્સી આપવાથી એ URL પ્રોક્સીના હોસ્ટનામમાં બદલાતું નથી. તેથી વિવિધ સાઇટ્સની વિનંતીઓ એક જ મધ્યસ્થ વહેંચતી વખતે પણ જુદા જુદા સ્લોટ રાખી શકે છે.
AutoThrottle અવલોકિત ડાઉનલોડ લેટન્સી વાપરીને દરેક સ્લોટનો વિલંબ સમાયોજિત કરે છે. પ્રમાણભૂત પ્રતિ-ડોમેન સમાંતરતા મર્યાદા અને ન્યૂનતમ ડાઉનલોડ વિલંબ હજી પણ લાગુ પડે છે.
અલ્ગોરિધમ બદલતા પહેલાં જૂથીકરણ તપાસો
કસ્ટમ મિડલવેર request.meta["download_slot"] સોંપી શકે છે, જે સામાન્ય સ્લોટ પસંદગીને બદલી નાખે છે. કેટલાક પ્રોક્સી એક્સ્ટેન્શન તેમનું પોતાનું જૂથીકરણ વાપરે છે. સંબંધ ન હોય તેવી સાઇટ્સ એક જ થ્રોટલ વહેંચતી લાગે તો એ સેટિંગ્સ તપાસો.
ઊલટું, દરેક પ્રોક્સી માટે અલગ સ્લોટ સોંપવાથી અનેક પ્રોક્સી એક જ સમયે એક જ લક્ષ્યનો સંપર્ક કરી શકે છે. તે ક્રોલરે પાળવાની હતી તે સાઇટ-વ્યાપી મર્યાદાને નિષ્ફળ કરી શકે છે. સુરક્ષિત સંસાધન પ્રમાણે સ્લોટ કી પસંદ કરો.
વિલંબમાં તમે વાપરેલો માર્ગ સમાયેલો છે
Scrapy વિનંતી મોકલવાથી HTTP હેડર મળવા સુધીની લેટન્સી માપે છે. પ્રોક્સીમાંથી પસાર થતી વિનંતીમાં એ અવલોકનમાં મધ્યસ્થનો કતાર અને ફોરવર્ડિંગ વિલંબ સમાઈ શકે છે. AutoThrottle ફક્ત મૂળ માટે અલગ પ્રોસેસિંગ સમય મેળવતું નથી.
સમાંતરતા વધારવાથી એ માપ સાઇટને અલગ પાડી શકતું નથી. લક્ષ્ય પ્રત્યેની વિનમ્રતા અને પ્રોક્સી ક્ષમતા બંને મહત્ત્વની હોય ત્યારે તેમને અલગ મર્યાદા તરીકે રાખો. વહેંચાયેલ પ્રોક્સીને લક્ષ્ય સ્લોટમાં વધારાનું સમાંતરતા બજેટ જોઈ શકે છે, જ્યારે દરેક લક્ષ્ય પોતાની દર નીતિ રાખે છે.