Scrapy को HTTP प्रोक्सी मिडलवेयरसँग प्रति-अनुरोध प्रोक्सीहरू

Scrapy को HTTP प्रोक्सी मिडलवेयरले अनुरोध मेटाडेटाबाट प्रोक्सी पढ्छ:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

कागजातको अन्त्य बिन्दु प्रतिस्थापन गर्नुहोस् र मिडलवेयर सक्षम राख्नुहोस्। HTTP प्रोक्सी सूची यो अनुरोध URL का लागि सार्वजनिक उम्मेदवारहरू प्रदान गर्दछ। यसले अनुरोधको मार्ग चयन गर्छ; प्रोक्सी पूललाई छुट्टै चयन तर्क चाहिन्छ।

प्रमाणीकरणले चयन गरिएको अन्त्य बिन्दुलाई पछ्याउँछ

निर्मित मिडलवेयरले आफ्नो समर्थित प्रोक्सी URL र सम्बन्धित प्राधिकरण हेडर मार्फत प्रदान गरिएका प्रमाणहरू ह्यान्डल गर्दछ। आरक्षित URL अक्षरहरू escape गर्नुहोस् र त्यो URL लग गर्नबाट बच्नुहोस्।

अन्त्य बिन्दु परिवर्तन भएपछि छुट्टै मिडलवेयरले अघिल्लो प्रोक्सीका लागि Basic हेडर राख्नु हुँदैन। एउटै तहले मार्ग र यसका प्रमाणहरू सँगै व्यवस्थापन गरोस्।

चयन क्रम र पूर्वनिर्धारितहरू

यदि अनुकूलन डाउनलोडर मिडलवेयरले प्रोक्सी चयन गर्छ भने, निर्मित प्रोक्सी मिडलवेयरले अनुरोध प्रशोधन गर्नु अघि यसलाई चलाउनुहोस्। स्थापित संस्करणको क्रम र API जाँच्नुहोस्; अप्रचलित scrapy.contrib आयातहरू पुराना संस्करणका हुन्।

प्रक्रिया वातावरणले स्किम-विशिष्ट पूर्वनिर्धारितहरू पनि प्रदान गर्न सक्छ। जानाजानी सीधा अनुरोधका लागि कागजात गरिएको विशेष proxy मेटाडेटा व्यवहार प्रयोग गर्नुहोस्: अनुपस्थित कुञ्जीको अर्थ सधैं सीधा पहुँच होइन।

वास्तविक परिणाम जाँच्नुहोस्। 407 प्रोक्सी प्रमाणीकरणसँग सम्बन्धित छ, जबकि वेबसाइटको दर सीमा वा पहुँच अस्वीकृति मार्ग सही रूपमा काम गरेपछि आउन सक्छ।