இரண்டு அமைப்புகள் Scrapy இன் ப்ராக்ஸி மிடில்வேரை முடக்கலாம்

Scrapy இன் உள்ளமைந்த ப்ராக்ஸி மிடில்வேரின் மற்றொரு நகலைச் சேர்ப்பதற்கு முன் இணைக்கப்பட்ட டவுன்லோடர் மிடில்வேர் பட்டியலையும் HTTPPROXY_ENABLED-ஐயும் சரிபார்க்கவும்.

HttpProxyMiddleware Scrapy இன் உள்ளமைந்த டவுன்லோடர் இயல்புநிலைகளின் ஒரு பகுதி. கிடைப்பதற்கு அது திட்டத்தின் சொந்த DOWNLOADER_MIDDLEWARES அகராதியில் தோன்ற வேண்டியதில்லை.

சரிபார்க்க வேண்டிய இரண்டு தனித்தனி கட்டுப்பாடுகள் உள்ளன:

  • HTTPPROXY_ENABLED உள்ளமைந்த கூறு இயக்கப்பட்டுள்ளதா என்பதைக் கட்டுப்படுத்துகிறது.
  • DOWNLOADER_MIDDLEWARES இல் அதன் வகுப்புப் பாதைக்கு None மதிப்பு இருந்தால் அது இணைக்கப்பட்ட மிடில்வேர் சங்கிலியிலிருந்து அதை நீக்குகிறது.

எடுத்துக்காட்டாக, இது இயல்புநிலை உள்ளீட்டை வெளிப்படையாக முடக்குகிறது:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

உள்ளமைந்த கூறு திரும்ப வேண்டியிருக்கும் போது அந்த மேலெழுதலையும் நீக்கவும். ஒரு உள்ளீட்டை மீட்டெடுக்க மட்டும் பழைய DOWNLOADER_MIDDLEWARES_BASE அட்டவணையை திட்டத்தில் நகலெடுக்க வேண்டாம்; Scrapy அதன் இயல்புநிலைகளை திட்டத்தின் மேலெழுதல்களுடன் இணைக்கிறது.

இயக்கப்பட்ட மிடில்வேருக்கு இன்னும் ஒரு பாதை தேவை — ஆதரிக்கப்படும் சூழல் மதிப்புகளிலிருந்து அல்லது கோரிக்கையின் ப்ராக்ஸி மெட்டாடேட்டாவிலிருந்து. தொடக்கப் பதிவில் அது தோன்றுவது கோரிக்கை ஒதுக்கீடு அல்ல.

மிகப் பழைய Scrapy வெளியீடுகள் ப்ராக்ஸி சூழல் மதிப்புகள் இல்லாமல் கூறு எப்போது ஏற்றப்படுகிறது என்பதில் வேறுபட்டன. 1.3 காலகட்டத்தின் வரலாற்று அவதானிப்பை தற்போதைய இயக்கல் விதியாகக் கருதாமல், நிறுவப்பட்ட பதிப்பை நோயறிதலுடன் வைத்திருங்கள்.

தொடர்புடைய கட்டுரைகள்