Per què la capçalera de sortida de ProxyMesh pot faltar a Scrapy

L'absència de X-ProxyMesh-IP en una crida HTTPS de Scrapy no demostra encaminament directe. Amb HTTPS tunelitzat, ProxyMesh col·loca les capçaleres d'encaminament a la resposta CONNECT; la resposta posterior del lloc web és dins de TLS i no inclou automàticament aquestes metadades anteriors.

On la capçalera s'exposa en una crida, llegiu-la de manera condicional:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Aquesta és la sortida que informa el proveïdor per a aquest intercanvi, no el nom d'amfitrió d'entrada configurat.

Si calen metadades del túnel, feu servir una integració de gestor compatible que exposi les capçaleres CONNECT. ProxyMesh en manté una per a aquesta finalitat; comproveu la versió de Scrapy compatible i el gestor de descàrregues. L'anàlisi de l'aranya no pot revelar capçaleres que el transport mai no ha proporcionat.

Associeu les metadades amb la seva connexió. Reutilitzar un túnel no crea una altra resposta CONNECT per a cada pàgina. Per a una adreça d'origen independent observada pel destí, inspeccioneu la connexió entrant d'aquest destí en lloc de tractar la capçalera del proveïdor com un detector universal d'IP.