Nima uchun ProxyMesh chiqish sarlavhasi Scrapy'da yo'q bo'lishi mumkin

Scrapy HTTPS chaqiruvida X-ProxyMesh-IP yo'qligi to'g'ridan-to'g'ri marshrutlashni isbotlamaydi. Tunnel HTTPS'da ProxyMesh marshrutlash sarlavhalarini CONNECT javobiga qo'yadi; keyingi sayt javobi TLS ichida bo'ladi va o'sha oldingi metama'lumotlarni avtomatik qo'shmaydi.

Sarlavha chaqiruvda ko'rinadigan joyda uni shartli o'qing:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Bu o'sha almashinuv uchun provayder bildirgan chiqish, sozlangan kirish xost nomi emas.

Agar tunnel metama'lumotlari kerak bo'lsa, CONNECT sarlavhalarini ochib beruvchi mos handler integratsiyasidan foydalaning. ProxyMesh aynan shu maqsad uchun bittasini saqlaydi; qo'llab-quvvatlanadigan Scrapy versiyasini va yuklab olish handlerini tekshiring. O'rgimchak tahlili transport hech qachon bermagan sarlavhalarni ochib bera olmaydi.

Metama'lumotlarni ularning ulanishi bilan bog'lang. Tunnelni qayta ishlatish har bir sahifa uchun yana bitta CONNECT javobini yaratmaydi. Manzil kuzatadigan mustaqil manba manzili uchun provayder sarlavhasini universal IP aniqlagich deb hisoblash o'rniga o'sha manzilning kiruvchi ulanishini tekshiring.