Miksi ProxyMesin lähtöotsake voi puuttua Scrapysta
ProxyMesh voi lähettää reitityksen metatiedot CONNECTissa ennen kuin Scrapy vastaanottaa verkkosivuston salatun vastauksen. Tarkastele sitä vastausvaihetta, joka ne todella kuljettaa.
X-ProxyMesh-IP puuttuminen Scrapyn HTTPS-takaisinkutsusta ei todista suoraa reititystä. Tunneloidussa HTTPS:ssa ProxyMesh asettaa reititysotsakkeet CONNECT-vastaukseen; myöhempi verkkosivuston vastaus on TLS:n sisällä eikä sisällä näitä aiempia metatietoja automaattisesti.
Kun otsake näkyy takaisinkutsussa, lue se ehdollisesti:
exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))Tämä on palveluntarjoajan ilmoittama lähtö tälle vaihdolle, ei määritetty saapuvan yhteyden isäntänimi.
Jos tunnelin metatietoja tarvitaan, käytä yhteensopivaa käsittelijäintegraatiota, joka paljastaa CONNECT-otsakkeet. ProxyMesh ylläpitää sellaista juuri tähän tarkoitukseen; tarkista tuettu Scrapy-versio ja latauskäsittelijä. Hämähäkin jäsennys ei voi paljastaa otsakkeita, joita siirtokerros ei koskaan antanut.
Yhdistä metatiedot niiden yhteyteen. Tunnelin uudelleenkäyttö ei luo uutta CONNECT-vastausta joka sivulle. Riippumatonta, kohteen havaitsemaa lähdeosoitetta varten tarkastele kyseisen kohteen saapuvaa yhteyttä sen sijaan, että pitäisit palveluntarjoajan otsaketta yleisenä IP-tunnistimena.