Varför ProxyMesh utgående rubrik kan saknas i Scrapy

Att X-ProxyMesh-IP saknas i en Scrapy HTTPS-callback bevisar inte direkt routing. Med tunnlad HTTPS placerar ProxyMesh routingrubriker på CONNECT-svaret; det senare webbplatssvaret ligger inuti TLS och innehåller inte automatiskt de tidigare metadata.

Där rubriken exponeras i en callback, läs den villkorligt:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Detta är den utgång som leverantören rapporterar för det utbytet, inte det konfigurerade ingångsvärdnamnet.

Om tunnelmetadata behövs, använd en kompatibel handler-integration som exponerar CONNECT-rubriker. ProxyMesh underhåller en för detta ändamål; kontrollera den Scrapy-version och den nedladdningshandler som stöds. Spindelns parsning kan inte avslöja rubriker som transporten aldrig levererade.

Koppla metadata till deras anslutning. Återanvändning av en tunnel skapar inte ännu ett CONNECT-svar för varje sida. För en oberoende källadress som målet observerar, undersök målets inkommande anslutning i stället för att behandla en leverantörsrubrik som en universell IP-detektor.