Scrapy च्या HTTP प्रॉक्सी मिडलवेअरसह प्रत्येक विनंतीसाठी प्रॉक्सी

क्रॉलरमध्ये जुना सानुकूल प्रमाणीकरण मिडलवेअर कॉपी करण्यापूर्वी Scrapy विनंती मेटाडेटा आणि त्याचे प्रॉक्सी मिडलवेअर वापरा.

Scrapy चे HTTP प्रॉक्सी मिडलवेअर विनंती मेटाडेटामधून प्रॉक्सी वाचते:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

दस्तऐवजातील एंडपॉइंट बदला आणि मिडलवेअर सक्षम ठेवा. HTTP प्रॉक्सी यादी या विनंती URL साठी सार्वजनिक उमेदवार देते. हे विनंतीचा मार्ग निवडते; प्रॉक्सी पूलला स्वतंत्र निवड तर्क आवश्यक आहे.

प्रमाणीकरण निवडलेल्या एंडपॉइंटचे अनुसरण करते

अंगभूत मिडलवेअर त्याच्या समर्थित प्रॉक्सी URL आणि संबंधित अधिकृतता हेडरद्वारे दिलेली क्रेडेन्शियल्स हाताळते. राखीव URL वर्ण escape करा आणि ती URL लॉग करणे टाळा.

एंडपॉइंट बदलल्यानंतर स्वतंत्र मिडलवेअरने मागील प्रॉक्सीसाठी Basic हेडर ठेवू नये. एकच स्तर मार्ग आणि त्याची क्रेडेन्शियल्स एकत्र हाताळू द्या.

निवड क्रम आणि डीफॉल्ट

सानुकूल डाउनलोडर मिडलवेअर प्रॉक्सी निवडत असल्यास, अंगभूत प्रॉक्सी मिडलवेअर विनंती प्रक्रिया करण्यापूर्वी ते चालवा. स्थापित आवृत्तीचा क्रम आणि API तपासा; अप्रचलित scrapy.contrib आयात जुन्या आवृत्त्यांचे आहेत.

प्रक्रिया पर्यावरण स्कीम-विशिष्ट डीफॉल्ट देखील देऊ शकते. जाणीवपूर्वक थेट विनंतीसाठी दस्तऐवजीकृत विशेष proxy मेटाडेटा वर्तन वापरा: अनुपस्थित की म्हणजे थेट प्रवेश असे नाही.

प्रत्यक्ष परिणाम तपासा. 407 प्रॉक्सी प्रमाणीकरणाशी संबंधित आहे, तर वेबसाइटची दर मर्यादा किंवा प्रवेश नकार मार्ग योग्यरित्या कार्य केल्यानंतर येऊ शकतो.

संबंधित लेख