Scrapy shell मध्ये एका fetch साठी प्रॉक्सी

Scrapy shell मध्ये, तुम्हाला डाउनलोडरने करावयाची विनंती तयार करा:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware त्या Request च्या मेटाडेटामधून प्रॉक्सी मूल्य वाचतो. ते सक्रिय डाउनलोडर मिडलवेअर कॉन्फिगरेशनमध्ये सक्षम असले पाहिजे. त्यानंतरचे response व्हेरिएबल या fetch चे आहे. या सार्वजनिक URL साठी, सार्वजनिक मध्यस्थांना परवानगी असल्यास HTTP प्रॉक्सी यादीमधून प्रमाणीकरण नसलेला HTTP पत्ता निवडा, नंतर त्याचा URL त्या विनंतीच्या प्रॉक्सी मेटाडेटामध्ये ठेवा.

Scrapy प्रकल्पातून shell सुरू केल्याने ते त्या प्रकल्पाचे कॉन्फिगरेशन लोड करू शकते. ते मिडलवेअर आणि इतर सेटिंग्ज निवडते; ते स्वतः विशिष्ट प्रॉक्सी एंडपॉइंट निवडत नाही. वरील विनंती मेटाडेटा ती निवड थेट पुरवते.

Basic क्रेडेन्शियल्स वापरणाऱ्या प्रॉक्सीसाठी, Scrapy प्रॉक्सी URL मध्ये वापरकर्ता माहिती नोंदवते. ते तयार करण्यापूर्वी खाते घटकांमधील आरक्षित वर्ण एन्कोड करा. त्या खात्यासाठी वेबसाइट Authorization हेडर जोडण्याची आवश्यकता नाही.

Scrapy त्याच्या समर्थित पर्यावरण चलांमधूनही प्रॉक्सी शोधू शकते. विनंतीच्या स्पष्ट प्रॉक्सी मेटाडेटाला प्राधान्य असते. जाणूनबुजून थेट विनंतीसाठी, None प्रॉक्सी मूल्य त्या मिडलवेअरची पर्यावरण-आधारित निवड विनंतीसाठी अक्षम करते.