രണ്ട് ക്രമീകരണങ്ങൾക്ക് Scrapy-യുടെ പ്രോക്സി മിഡിൽവെയർ പ്രവർത്തനരഹിതമാക്കാം
Scrapy-യുടെ ബിൽറ്റ്-ഇൻ പ്രോക്സി മിഡിൽവെയറിന്റെ മറ്റൊരു പകർപ്പ് ചേർക്കുന്നതിന് മുമ്പ് ലയിപ്പിച്ച ഡൗൺലോഡർ മിഡിൽവെയർ ലിസ്റ്റും HTTPPROXY_ENABLED-ഉം പരിശോധിക്കുക.
HttpProxyMiddleware Scrapy-യുടെ ബിൽറ്റ്-ഇൻ ഡൗൺലോഡർ ഡിഫോൾട്ടുകളിൽ ഉൾപ്പെടുന്നു. ലഭ്യമാകാൻ അത് പ്രോജക്ടിന്റെ സ്വന്തം DOWNLOADER_MIDDLEWARES നിഘണ്ടുവിൽ ഉണ്ടാകേണ്ടതില്ല.
പരിശോധിക്കാനുള്ള രണ്ട് വേറിട്ട നിയന്ത്രണങ്ങളുണ്ട്:
- HTTPPROXY_ENABLED ബിൽറ്റ്-ഇൻ ഘടകം പ്രവർത്തനക്ഷമമാണോ എന്ന് നിയന്ത്രിക്കുന്നു.
- DOWNLOADER_MIDDLEWARES-ൽ അതിന്റെ ക്ലാസ് പാതയ്ക്ക് None മൂല്യം നൽകിയാൽ അത് ലയിപ്പിച്ച മിഡിൽവെയർ ശൃംഖലയിൽ നിന്ന് നീക്കം ചെയ്യുന്നു.
ഉദാഹരണത്തിന്, ഇത് ഡിഫോൾട്ട് എൻട്രി വ്യക്തമായി പ്രവർത്തനരഹിതമാക്കുന്നു:
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}
ബിൽറ്റ്-ഇൻ ഘടകം തിരികെ വരേണ്ടിവരുമ്പോൾ ആ ഓവർറൈഡ് നീക്കം ചെയ്യുക. ഒരു എൻട്രി പുനഃസ്ഥാപിക്കാൻ മാത്രം പഴയ DOWNLOADER_MIDDLEWARES_BASE പട്ടിക പ്രോജക്ടിലേക്ക് പകർത്തരുത്; Scrapy അതിന്റെ ഡിഫോൾട്ടുകൾ പ്രോജക്ട് ഓവർറൈഡുകളുമായി സംയോജിപ്പിക്കുന്നു.
പ്രവർത്തനക്ഷമമായ മിഡിൽവെയറിന് ഇപ്പോഴും ഒരു റൂട്ട് വേണം — പിന്തുണയ്ക്കുന്ന പരിസ്ഥിതി മൂല്യങ്ങളിൽ നിന്നോ അഭ്യർത്ഥനയുടെ പ്രോക്സി മെറ്റാഡാറ്റയിൽ നിന്നോ. സ്റ്റാർട്ടപ്പ് ലോഗിൽ അതിന്റെ സാന്നിധ്യം അഭ്യർത്ഥന അനുവദനം അല്ല.
വളരെ പഴയ Scrapy പതിപ്പുകൾ പ്രോക്സി പരിസ്ഥിതി മൂല്യങ്ങളില്ലാതെ ഘടകം എപ്പോൾ ലോഡ് ചെയ്യുന്നു എന്നതിൽ വ്യത്യസ്തമായിരുന്നു. ഇൻസ്റ്റാൾ ചെയ്ത പതിപ്പ് രോഗനിർണയത്തോടൊപ്പം സൂക്ഷിക്കുക, 1.3 കാലഘട്ടത്തിലെ ചരിത്രപരമായ നിരീക്ഷണം നിലവിലെ പ്രവർത്തനക്ഷമതാ നിയമമായി കണക്കാക്കുന്നതിന് പകരം.