Scrapy کے HTTP پراکسی مڈل ویئر کے ساتھ فی درخواست پراکسی

Scrapy کا HTTP پراکسی مڈل ویئر درخواست میٹاڈیٹا سے پراکسی پڑھتا ہے:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

دستاویز کا اینڈ پوائنٹ بدلیں اور مڈل ویئر فعال رکھیں۔ HTTP پراکسی فہرست اس درخواست URL کے لیے عوامی امیدوار پیش کرتی ہے۔ یہ درخواست کا راستہ منتخب کرتا ہے؛ پراکسی پول کو الگ انتخاب منطق درکار ہے۔

توثیق منتخب اینڈ پوائنٹ کی پیروی کرتی ہے

بلٹ اِن مڈل ویئر اپنے معاون پراکسی URL اور متعلقہ اجازت ہیڈر کے ذریعے فراہم کردہ اسناد سنبھالتا ہے۔ محفوظ URL حروف کو escape کریں اور اس URL کو لاگ کرنے سے گریز کریں۔

اینڈ پوائنٹ تبدیل ہونے کے بعد الگ مڈل ویئر کو پچھلی پراکسی کے لیے Basic ہیڈر نہیں رکھنا چاہیے۔ ایک ہی تہہ راستہ اور اس کی اسناد کو ساتھ سنبھالے۔

انتخاب کی ترتیب اور ڈیفالٹ

اگر حسب ضرورت ڈاؤن لوڈر مڈل ویئر پراکسی منتخب کرتا ہے تو بلٹ اِن پراکسی مڈل ویئر کے درخواست پر عمل کرنے سے پہلے اسے چلائیں۔ نصب شدہ ریلیز کی ترتیب اور API جانچیں؛ متروک scrapy.contrib درآمدات پرانی ریلیز کے ہیں۔

پروسیس ماحول اسکیم کے مخصوص ڈیفالٹ بھی فراہم کر سکتا ہے۔ جان بوجھ کر براہِ راست درخواست کے لیے دستاویز شدہ خصوصی proxy میٹاڈیٹا رویہ استعمال کریں: غائب کلید کا مطلب ہمیشہ براہِ راست رسائی نہیں۔

اصل نتیجہ جانچیں۔ 407 پراکسی توثیق سے متعلق ہے، جبکہ ویب سائٹ کی رفتار کی حد یا رسائی سے انکار راستہ درست کام کرنے کے بعد آ سکتا ہے۔