Scrapy-এর HTTP প্রক্সি মিডলওয়্যার দিয়ে প্রতি অনুরোধে প্রক্সি

Scrapy-এর HTTP প্রক্সি মিডলওয়্যার অনুরোধ মেটাডেটা থেকে প্রক্সি পড়ে:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

ডকুমেন্টেশনের এন্ডপয়েন্ট বদলে দিন এবং মিডলওয়্যার সক্রিয় রাখুন। HTTP প্রক্সি তালিকা এই অনুরোধ URL-এর জন্য সর্বজনীন প্রার্থী দেয়। এটি অনুরোধের রুট বেছে নেয়; প্রক্সি পুলের জন্য আলাদা নির্বাচন লজিক দরকার।

প্রমাণীকরণ নির্বাচিত এন্ডপয়েন্ট অনুসরণ করে

অন্তর্নির্মিত মিডলওয়্যার তার সমর্থিত প্রক্সি URL ও সংশ্লিষ্ট অনুমোদন হেডারের মাধ্যমে দেওয়া শংসাপত্র পরিচালনা করে। সংরক্ষিত URL অক্ষর escape করুন এবং ওই URL লগ করা এড়ান।

এন্ডপয়েন্ট বদলানোর পরে আলাদা মিডলওয়্যারের আগের প্রক্সির জন্য Basic হেডার রাখা উচিত নয়। এক স্তরই রুট ও তার শংসাপত্র একসঙ্গে পরিচালনা করুক।

নির্বাচনের ক্রম ও ডিফল্ট

কাস্টম ডাউনলোডার মিডলওয়্যার প্রক্সি বেছে নিলে অন্তর্নির্মিত প্রক্সি মিডলওয়্যার অনুরোধ প্রক্রিয়া করার আগে তা চালান। ইনস্টল করা সংস্করণের ক্রম ও API যাচাই করুন; অপ্রচলিত scrapy.contrib আমদানি পুরোনো সংস্করণের।

প্রক্রিয়া পরিবেশ স্কিম-ভিত্তিক ডিফল্টও দিতে পারে। ইচ্ছাকৃত সরাসরি অনুরোধের জন্য নথিভুক্ত বিশেষ proxy মেটাডেটা আচরণ ব্যবহার করুন: অনুপস্থিত কী সরাসরি অ্যাক্সেস বোঝায় না।

প্রকৃত ফলাফল পরীক্ষা করুন। 407 প্রক্সি প্রমাণীকরণের বিষয়ে, আর ওয়েবসাইটের হার সীমা বা প্রবেশে অস্বীকৃতি রুট ঠিকভাবে কাজ করার পর আসতে পারে।