Kāpēc ProxyMesh izejas galvene Scrapy var trūkt

X-ProxyMesh-IP trūkums Scrapy HTTPS atzvanīšanā nepierāda tiešu maršrutēšanu. Tuneļotā HTTPS ProxyMesh ievieto maršrutēšanas galvenes CONNECT atbildē; vēlākā vietnes atbilde ir TLS iekšienē un automātiski neietver šos iepriekšējos metadatus.

Kur galvene atzvanīšanā ir redzama, lasiet to nosacīti:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Šī ir pakalpojumu sniedzēja ziņotā izeja šim apmaiņas darījumam, nevis konfigurētais ieejas resursdatora nosaukums.

Ja nepieciešami tuneļa metadati, izmantojiet saderīgu apdarinātāja integrāciju, kas atklāj CONNECT galvenes. ProxyMesh uztur vienu tieši šim nolūkam; pārbaudiet atbalstīto Scrapy versiju un lejupielādes apdarinātāju. Zirnekļa parsēšana nevar atklāt galvenes, ko transports nekad nav sniedzis.

Saistiet metadatus ar to savienojumu. Tuneļa atkārtota izmantošana neveido vēl vienu CONNECT atbildi katrai lapai. Neatkarīgai galamērķa novērotai avota adresei pārbaudiet šī galamērķa ienākošo savienojumu, tā vietā lai pakalpojumu sniedzēja galveni uzskatītu par universālu IP detektoru.