Scrapy-তে ProxyMesh-এর এক্সিট হেডার কেন অনুপস্থিত থাকতে পারে

Scrapy HTTPS কলব্যাকে X-ProxyMesh-IP অনুপস্থিত থাকা সরাসরি রাউটিং প্রমাণ করে না। টানেলযুক্ত HTTPS-এ ProxyMesh CONNECT প্রতিক্রিয়ায় রাউটিং হেডার রাখে; পরবর্তী ওয়েবসাইট প্রতিক্রিয়া TLS-এর ভিতরে থাকে এবং সেই আগের মেটাডেটা স্বয়ংক্রিয়ভাবে অন্তর্ভুক্ত করে না।

যেখানে কলব্যাকে হেডারটি প্রকাশ পায়, সেখানে এটি শর্তসাপেক্ষে পড়ুন:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

এটি সেই বিনিময়ের জন্য প্রদানকারীর জানানো এক্সিট, কনফিগার করা প্রবেশ হোস্টনাম নয়।

টানেল মেটাডেটা প্রয়োজন হলে, CONNECT হেডার প্রকাশ করে এমন উপযুক্ত হ্যান্ডলার ইন্টিগ্রেশন ব্যবহার করুন। ProxyMesh এই উদ্দেশ্যে একটি রক্ষণাবেক্ষণ করে; এর সমর্থিত Scrapy সংস্করণ ও ডাউনলোড হ্যান্ডলার যাচাই করুন। মাকড়সার পার্সিং কখনও এমন হেডার দেখাতে পারে না যা পরিবহন কখনও দেয়নি।

মেটাডেটাকে তার সংযোগের সঙ্গে যুক্ত করুন। টানেল পুনরায় ব্যবহার করলে প্রতিটি পৃষ্ঠার জন্য আরেকটি CONNECT প্রতিক্রিয়া তৈরি হয় না। গন্তব্য যে স্বতন্ত্র উৎস ঠিকানা দেখে তা জানতে, প্রদানকারীর হেডারকে সর্বজনীন IP শনাক্তকারী ধরার বদলে সেই গন্তব্যের আগত সংযোগ পরীক্ষা করুন।