দুটি সেটিং Scrapy-র প্রক্সি মিডলওয়্যার নিষ্ক্রিয় করতে পারে

Scrapy-র অন্তর্নির্মিত প্রক্সি মিডলওয়্যারের আরেকটি অনুলিপি যোগ করার আগে একত্রিত ডাউনলোডার মিডলওয়্যার তালিকা এবং HTTPPROXY_ENABLED পরীক্ষা করুন।

HttpProxyMiddleware Scrapy-র অন্তর্নির্মিত ডাউনলোডার ডিফল্টের অংশ। উপলব্ধ থাকার জন্য এটিকে প্রকল্পের নিজস্ব DOWNLOADER_MIDDLEWARES অভিধানে উপস্থিত হতে হয় না।

পরীক্ষা করার জন্য দুটি আলাদা নিয়ন্ত্রণ রয়েছে:

  • HTTPPROXY_ENABLED নিয়ন্ত্রণ করে অন্তর্নির্মিত উপাদানটি সক্রিয় কি না।
  • DOWNLOADER_MIDDLEWARES-এ এর ক্লাস পাথের জন্য None মান এটি একত্রিত মিডলওয়্যার চেইন থেকে সরিয়ে দেয়।

উদাহরণস্বরূপ, এটি ডিফল্ট এন্ট্রিটি স্পষ্টভাবে নিষ্ক্রিয় করে:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

অন্তর্নির্মিত উপাদানটি ফিরে আসা উচিত হলে সেই ওভাররাইডটি সরিয়ে ফেলুন। শুধু একটি এন্ট্রি পুনরুদ্ধার করতে পুরোনো DOWNLOADER_MIDDLEWARES_BASE টেবিল প্রকল্পে কপি করবেন না; Scrapy তার ডিফল্টগুলিকে প্রকল্পের ওভাররাইডের সাথে একত্রিত করে।

সক্রিয় মিডলওয়্যারের তবুও একটি রুট দরকার — সমর্থিত পরিবেশ মান থেকে বা অনুরোধের প্রক্সি মেটাডেটা থেকে। স্টার্টআপ লগে এর উপস্থিতি নিজেই কোনো অনুরোধ নির্ধারণ নয়।

খুব পুরোনো Scrapy সংস্করণে প্রক্সি পরিবেশ মান ছাড়া উপাদানটি কখন লোড হয় তা ভিন্ন ছিল। ইনস্টল করা সংস্করণটি নির্ণয়ের সাথে রাখুন, 1.3 যুগের ঐতিহাসিক পর্যবেক্ষণকে বর্তমান সক্রিয়করণ নিয়ম হিসেবে গণ্য না করে।

সম্পর্কিত নিবন্ধ