لماذا قد يغيب ترويسة الخروج من ProxyMesh في Scrapy

غياب X-ProxyMesh-IP في دالة رد HTTPS في Scrapy لا يثبت التوجيه المباشر. في HTTPS المُنفَّق يضع ProxyMesh ترويسات التوجيه على رد CONNECT؛ أما استجابة الموقع اللاحقة فداخل TLS ولا تتضمن تلقائيًا تلك البيانات السابقة.

حيث تُعرض الترويسة في دالة الرد، اقرأها بشكل شرطي:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

هذا هو عنوان الخروج الذي يبلّغ عنه المزوّد لذلك التبادل، وليس اسم المضيف المُعدّ للدخول.

إذا كانت بيانات النفق مطلوبة، فاستخدم تكامل معالج متوافقًا يكشف ترويسات CONNECT. يحتفظ ProxyMesh بواحد لهذا الغرض؛ تحقق من إصدار Scrapy المدعوم ومن معالج التنزيل. لا يمكن لتحليل العنكبوت كشف ترويسات لم يوفّرها النقل أصلًا.

اربط البيانات باتصالها. إعادة استخدام نفق لا تُنشئ رد CONNECT آخر لكل صفحة. لمعرفة عنوان مصدر مستقل تراه الوجهة، افحص الاتصال الوارد إلى تلك الوجهة بدلًا من اعتبار ترويسة المزوّد كاشفًا شاملًا لعناوين IP.