Scrapy के HTTP प्रॉक्सी मिडलवेयर के साथ प्रति-अनुरोध प्रॉक्सी

Scrapy का HTTP प्रॉक्सी मिडलवेयर अनुरोध मेटाडेटा से प्रॉक्सी पढ़ता है:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

दस्तावेज़ का एंडपॉइंट बदलें और मिडलवेयर सक्षम रखें। HTTP प्रॉक्सी सूची इस अनुरोध URL के लिए सार्वजनिक उम्मीदवार देती है। यह अनुरोध का मार्ग चुनता है; प्रॉक्सी पूल को अलग चयन तर्क चाहिए।

प्रमाणीकरण चुने गए एंडपॉइंट का पालन करता है

अंतर्निहित मिडलवेयर अपने समर्थित प्रॉक्सी URL और संबंधित प्राधिकरण हेडर के माध्यम से दिए गए क्रेडेंशियल संभालता है। आरक्षित URL वर्णों को escape करें और उस URL को लॉग करने से बचें।

एंडपॉइंट बदलने के बाद अलग मिडलवेयर को पिछले प्रॉक्सी के लिए Basic हेडर नहीं रखना चाहिए। एक ही परत मार्ग और उसके क्रेडेंशियल को साथ में संभाले।

चयन क्रम और डिफ़ॉल्ट

यदि कस्टम डाउनलोडर मिडलवेयर प्रॉक्सी चुनता है, तो अंतर्निहित प्रॉक्सी मिडलवेयर के अनुरोध संसाधित करने से पहले उसे चलाएँ। स्थापित संस्करण का क्रम और API जाँचें; अप्रचलित scrapy.contrib आयात पुराने संस्करणों के हैं।

प्रक्रिया पर्यावरण स्कीम-विशिष्ट डिफ़ॉल्ट भी दे सकता है। जानबूझकर सीधे अनुरोध के लिए दस्तावेज़ीकृत विशेष proxy मेटाडेटा व्यवहार का उपयोग करें: अनुपस्थित कुंजी का अर्थ हमेशा सीधी पहुँच नहीं होता।

वास्तविक परिणाम जाँचें। 407 प्रॉक्सी प्रमाणीकरण से संबंधित है, जबकि वेबसाइट की दर सीमा या पहुँच अस्वीकृति मार्ग के सही काम करने के बाद आ सकती है।