Scrapy shell मा एक फेचका लागि प्रोक्सी

Scrapy shell भित्र, तपाईं डाउनलोडरले गरोस् भन्ने चाहेको अनुरोध बनाउनुहोस्:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware त्यो Request को मेटाडाटाबाट प्रोक्सी मान पढ्छ। यो सक्रिय डाउनलोडर मिडलवेयर कन्फिगरेसनमा सक्षम हुनुपर्छ। त्यसपछिको response भेरिएबल यो फेचको हो। यो सार्वजनिक URL का लागि, सार्वजनिक मध्यस्थहरू अनुमति दिइएको भए HTTP प्रोक्सी सूचीबाट प्रमाणीकरण नभएको HTTP ठेगाना छान्नुहोस्, त्यसपछि त्यसको URL त्यो अनुरोधको प्रोक्सी मेटाडाटामा राख्नुहोस्।

Scrapy परियोजनाबाट shell सुरु गर्दा यसले त्यो परियोजनाको कन्फिगरेसन लोड गर्न सक्छ। यसले मिडलवेयर र अन्य सेटिङहरू छान्छ; यसले आफैं कुनै विशेष प्रोक्सी इन्डपोइन्ट छान्दैन। माथिको अनुरोध मेटाडाटाले त्यो छनोट सिधै प्रदान गर्छ।

Basic प्रमाणहरू प्रयोग गर्ने प्रोक्सीका लागि, Scrapy ले प्रोक्सी URL मा प्रयोगकर्ता जानकारी दस्तावेज गर्छ। यो बनाउनु अघि खाता कम्पोनेन्टहरूमा आरक्षित वर्णहरू इन्कोड गर्नुहोस्। त्यो खाताका लागि वेबसाइटको Authorization हेडर थप्न आवश्यक छैन।

Scrapy ले आफ्ना समर्थित वातावरण भेरिएबलहरूबाट पनि प्रोक्सीहरू पत्ता लगाउन सक्छ। अनुरोधको स्पष्ट प्रोक्सी मेटाडाटालाई प्राथमिकता हुन्छ। जानाजानी सिधा अनुरोधका लागि, None प्रोक्सी मानले त्यो मिडलवेयरको वातावरण-आधारित छनोटलाई अनुरोधका लागि अक्षम गर्छ।