Зашто излазно заглавље ProxyMesh-а може недостајати у Scrapy-ју

Одсуство X-ProxyMesh-IP у Scrapy HTTPS повратном позиву не доказује директно рутирање. Код тунелираног HTTPS-а ProxyMesh поставља заглавља рутирања на одговор CONNECT; каснији одговор сајта налази се унутар TLS-а и не укључује аутоматски те раније метаподатке.

Где је заглавље изложено у повратном позиву, читајте га условно:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Ово је излаз који је провајдер пријавио за ту размену, а не конфигурисано име улазног хоста.

Ако су потребни метаподаци тунела, користите компатибилну интеграцију руковаоца која излаже CONNECT заглавља. ProxyMesh одржава једну управо за ту сврху; проверите подржану верзију Scrapy-ја и руковаоца преузимања. Парсирање паука не може открити заглавља која транспорт никада није доставио.

Повежите метаподатке са њиховом везом. Поновна употреба тунела не ствара још један CONNECT одговор за сваку страницу. За независну адресу извора коју види одредиште, прегледајте долазну везу тог одредишта уместо да заглавље провајдера третирате као универзални детектор IP адреса.