Miért hiányozhat a ProxyMesh kilépési fejléce a Scrapyben

A X-ProxyMesh-IP hiánya egy Scrapy HTTPS-visszahívásban nem bizonyít közvetlen útvonalválasztást. Alagúttal védett HTTPS esetén a ProxyMesh az útvonal-fejléceket a CONNECT válaszra teszi; a későbbi webhelyválasz a TLS-en belül van, és nem tartalmazza automatikusan ezeket a korábbi metaadatokat.

Ahol a fejléc megjelenik egy visszahívásban, feltételesen olvassa ki:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Ez a szolgáltató által jelentett kilépés arra a tranzakcióra, nem a beállított belépő hosztnév.

Ha alagút-metaadatokra van szükség, használjon olyan kompatibilis kezelőintegrációt, amely feltárja a CONNECT fejléceket. A ProxyMesh pontosan erre tart fenn egyet; ellenőrizze a támogatott Scrapy-verziót és a letöltéskezelőt. A pók elemzése nem tárhat fel olyan fejléceket, amelyeket az átvitel soha nem adott.

Kösse a metaadatokat a kapcsolatukhoz. Az alagút újrafelhasználása nem hoz létre újabb CONNECT választ minden oldalhoz. A cél által látott független forráscímhez vizsgálja meg a cél bejövő kapcsolatát, ahelyett hogy a szolgáltató fejlécét univerzális IP-érzékelőnek tekintené.