ഒന്നിലധികം ഡൊമെയ്‌നുകളിൽ Scrapy പ്രോക്സി സമകാലികത
പല ലക്ഷ്യ ഡൊമെയ്‌നുകളും ഒരേ പ്രോക്സി ക്വോട്ട ഉപയോഗിക്കുമ്പോൾ ഡൗൺലോഡറിന്റെ ആഗോള സമകാലികതാ പരിധി ഉപയോഗിക്കുക, തുടർന്ന് അതേ അക്കൗണ്ട് പങ്കിടുന്ന മറ്റ് ക്രോളറുകളും കണക്കിൽ എടുക്കുക.
ഓരോ ലക്ഷ്യവും ഒരേ പ്രോക്സി അക്കൗണ്ട് ഉപയോഗിക്കുന്നുവെങ്കിൽ, ആ അക്കൗണ്ടിന്റെ സമകാലിക അഭ്യർത്ഥനാ അനുമതി ആ എല്ലാ ലക്ഷ്യങ്ങളിലും ചെലവാകാം. ഡൊമെയ്‌നിന് മാത്രമുള്ള പരിധി ആ പങ്കിട്ട ബജറ്റ് വ്യക്തമാക്കുന്നില്ല.
പരമാവധി 20 സമകാലിക അഭ്യർത്ഥനകൾ അനുവദിക്കുന്ന ഒരു സങ്കൽപ അക്കൗണ്ടിന്, കുറച്ച് ഇടം അവശേഷിപ്പിച്ച് ക്രോളറിന്റെ ആഗോള ഡൗൺലോഡർ പരിധി നിശ്ചയിക്കുക:
CONCURRENT_REQUESTS = 16ഇത് ഒരു ഉദാഹരണ വിഭജനമാണ്, എല്ലാ ദാതാവിനും ശുപാർശ ചെയ്യുന്ന മൂല്യമല്ല. ഡൗൺലോഡറിന്റെ പരമാവധി സമകാലിക അഭ്യർത്ഥനകളുടെ എണ്ണമായി Scrapy CONCURRENT_REQUESTS നിർവചിക്കുന്നു. ഡൊമെയ്‌നിന് ഉള്ള നിയന്ത്രണങ്ങൾ സമകാലികത കൂടുതൽ കുറയ്ക്കാം; എന്നാൽ ആഗോള പരിധിയെ അവ മാറ്റിസ്ഥാപിക്കുന്നില്ല.
മറ്റ് ക്രോളറുകളെയും കണക്കിൽ ഉൾപ്പെടുത്തുക. ഓരോന്നിനും 16 അഭ്യർത്ഥനകൾ അനുവദിച്ചിട്ടുള്ള രണ്ട് സ്വതന്ത്ര ക്രോളറുകൾക്ക് ഒരുമിച്ച് 20 എന്ന പങ്കിട്ട അനുമതി കവിയാം. ബജറ്റ് ബോധപൂർവ്വം വിഭജിക്കുക അല്ലെങ്കിൽ ആ ക്ലയന്റുകൾ ഒത്തുചേരുന്നിടത്ത് പങ്കിട്ട പരിധി നടപ്പാക്കുക.
ദാതാവ് എന്താണ് എണ്ണുന്നതെന്നും വ്യക്തമാക്കുക. HTTP അഭ്യർത്ഥനകൾ, തുറന്ന TCP കണക്ഷനുകൾ, സജീവ ടണലുകൾ, സെക്കൻഡിലെ അഭ്യർത്ഥനകൾ എന്നിവ വ്യത്യസ്ത അളവുകളാണ്. നിലനിൽക്കുന്ന കണക്ഷനുകളും മൾട്ടിപ്ലെക്സിംഗും അവയുടെ എണ്ണങ്ങൾ വ്യത്യാസപ്പെടുത്താം. അതിനാൽ അഭ്യർത്ഥന-സമകാലികത ക്രമീകരണം പൂർണ്ണ കണക്ഷൻ അല്ലെങ്കിൽ നിരക്ക് പരിധിയല്ല.
ലക്ഷ്യ സൈറ്റിന്റെ വേഗത പ്രത്യേക നിയന്ത്രണമായി നിലനിർത്തുക. പ്രോക്സി അക്കൗണ്ടിൽ ഉപയോഗിക്കാത്ത ശേഷി ഉണ്ടായാലും ഒരു പ്രത്യേക ലക്ഷ്യത്തിന് കുറഞ്ഞ സമകാലികതയോ ഡൗൺലോഡ് കാലതാമസമോ അനുയോജ്യമായിരിക്കാം.