Scrapy shell میں ایک fetch کے لیے پراکسی

Scrapy shell کے اندر، وہ درخواست بنائیں جو آپ چاہتے ہیں کہ ڈاؤن لوڈر کرے:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware اس Request کی میٹاڈیٹا سے پراکسی کی قدر پڑھتا ہے۔ یہ فعال ڈاؤن لوڈر middleware ترتیب میں فعال ہونا چاہیے۔ اس کے بعد response متغیر اسی fetch کا ہے۔ اس عوامی URL کے لیے، اگر عوامی ثالثوں کی اجازت ہو تو HTTP پراکسی فہرست سے بغیر تصدیق کے HTTP پتہ منتخب کریں، پھر اس کا URL اس درخواست کی پراکسی میٹاڈیٹا میں رکھیں۔

Scrapy پروجیکٹ سے shell شروع کرنے سے اسے اس پروجیکٹ کی ترتیب لوڈ کرنے کی اجازت ملتی ہے۔ یہ middleware اور دیگر ترتیبات منتخب کرتا ہے؛ یہ خود کوئی مخصوص پراکسی اینڈ پوائنٹ منتخب نہیں کرتا۔ اوپر دی گئی درخواست کی میٹاڈیٹا وہ انتخاب براہ راست فراہم کرتی ہے۔

Basic اسناد استعمال کرنے والی پراکسی کے لیے، Scrapy صارف کی معلومات پراکسی URL میں درج کرتا ہے۔ بنانے سے پہلے اکاؤنٹ کے اجزاء میں محفوظ حروف کو انکوڈ کریں۔ اس اکاؤنٹ کے لیے ویب سائٹ کا Authorization ہیڈر شامل کرنے کی ضرورت نہیں۔

Scrapy اپنے معاون ماحول متغیرات سے بھی پراکسیاں دریافت کر سکتا ہے۔ درخواست کی واضح پراکسی میٹاڈیٹا کو ترجیح حاصل ہے۔ جان بوجھ کر براہ راست درخواست کے لیے، None پراکسی قدر اس middleware کے ماحول پر مبنی انتخاب کو درخواست کے لیے غیر فعال کر دیتی ہے۔