Mengapa Pengepala Keluar ProxyMesh Mungkin Hilang dalam Scrapy

Ketiadaan X-ProxyMesh-IP dalam callback HTTPS Scrapy tidak membuktikan penghalaan terus. Dalam HTTPS terowong, ProxyMesh meletakkan pengepala penghalaan pada balasan CONNECT; respons laman web kemudiannya berada di dalam TLS dan tidak memasukkan metadata terdahulu itu secara automatik.

Di mana pengepala terdedah dalam callback, bacanya secara bersyarat:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Ini ialah exit yang dilaporkan penyedia untuk pertukaran itu, bukan nama hos kemasukan yang dikonfigurasikan.

Jika metadata terowong diperlukan, gunakan integrasi pengendali serasi yang mendedahkan pengepala CONNECT. ProxyMesh menyelenggara satu untuk tujuan ini; semak versi Scrapy yang disokong dan pengendali muat turun. Penghuraian oleh labah-labah tidak dapat mendedahkan pengepala yang tidak pernah dibekalkan oleh pengangkutan.

Kaitkan metadata dengan sambungannya. Menggunakan semula terowong tidak mencipta balasan CONNECT lain untuk setiap halaman. Untuk alamat sumber bebas yang diperhatikan oleh destinasi, periksa sambungan masuk destinasi itu dan bukannya menganggap pengepala penyedia sebagai pengesan IP sejagat.