Proč může v Scrapy chybět výstupní hlavička ProxyMesh
ProxyMesh může odesílat směrovací metadata na CONNECT dříve, než Scrapy obdrží zašifrovanou odpověď webu. Prozkoumejte fázi odpovědi, která je skutečně nese.
Chybějící X-ProxyMesh-IP v HTTPS callbacku Scrapy neprokazuje přímé směrování. U tunelovaného HTTPS umisťuje ProxyMesh směrovací hlavičky na odpověď CONNECT; pozdější odpověď webu je uvnitř TLS a tyto dřívější metadata automaticky neobsahuje.
Kde je hlavička v callbacku vystavena, čtěte ji podmíněně:
exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))Toto je výstup nahlášený poskytovatelem pro danou výměnu, nikoli nakonfigurované jméno vstupního hostitele.
Pokud jsou metadata tunelu potřeba, použijte kompatibilní integraci handleru, která vystavuje hlavičky CONNECT. ProxyMesh jednu pro tento účel udržuje; ověřte podporovanou verzi Scrapy a download handler. Parsování pavoukem nemůže odhalit hlavičky, které transport nikdy neposkytl.
Spojujte metadata s jejich spojením. Opětovné použití tunelu nevytváří pro každou stránku další odpověď CONNECT. Pro nezávislou adresu zdroje pozorovanou cílem prohlédněte příchozí spojení tohoto cíle, místo abyste hlavičku poskytovatele považovali za univerzální detektor IP.