Bakit Maaaring Mawala ang Exit Header ng ProxyMesh sa Scrapy

Ang kawalan ng X-ProxyMesh-IP sa isang HTTPS callback ng Scrapy ay hindi nagpapatunay ng direktang routing. Sa naka-tunnel na HTTPS, inilalagay ng ProxyMesh ang routing header sa sagot ng CONNECT; ang susunod na sagot ng website ay nasa loob ng TLS at hindi awtomatikong isinasama ang naunang metadata.

Kung saan nakalantad ang header sa isang callback, basahin ito nang may kondisyon:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Ito ang exit na iniuulat ng provider para sa palitan na iyon, hindi ang naka-configure na entry hostname.

Kung kailangan ang tunnel metadata, gumamit ng tugmang integrasyon ng handler na naglalantad ng CONNECT header. May pinapanatili ang ProxyMesh para sa layuning ito; suriin ang sinusuportahang bersyon ng Scrapy at ang download handler. Hindi maaaring ihayag ng pag-parse ng spider ang mga header na hindi ibinigay ng transport.

Iugnay ang metadata sa koneksyon nito. Ang muling paggamit ng tunnel ay hindi lumilikha ng isa pang sagot ng CONNECT para sa bawat pahina. Para sa independiyenteng source address na napapansin ng destinasyon, suriin ang papasok na koneksyon ng destinasyong iyon sa halip na ituring ang header ng provider bilang pangkalahatang tagatukoy ng IP.