Kvifor utgangshovudet til ProxyMesh kan mangla i Scrapy

At X-ProxyMesh-IP manglar i ein Scrapy HTTPS-callback, provar ikkje direkte ruting. Ved tunnelert HTTPS plasserer ProxyMesh rutingshovud på CONNECT-svaret; det seinare nettsidesvaret ligg inne i TLS og inneheld ikkje automatisk dei tidlegare metadataa.

Der hovudet viser seg i ein callback, les det vilkårsbunde:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Dette er utgangen leverandøren rapporterer for den utvekslinga, ikkje det konfigurerte inngangsvertsnamnet.

Viss tunnelmetadata er naudsynt, bruk ein kompatibel handterarintegrasjon som eksponerer CONNECT-hovud. ProxyMesh held ved like ein for dette føremålet; kontroller den støtta Scrapy-versjonen og nedlastingshandteraren. Parsinga til edderkoppen kan ikkje avdekkje hovud som transporten aldri leverte.

Knyt metadata til tilkoplingspunktet sitt. Gjenbruk av ein tunnel lagar ikkje endå eit CONNECT-svar for kvar side. For ei uavhengig kjeldeadresse som destinasjonen observerer, undersøk det innkommande tilkoplingspunktet til destinasjonen i staden for å handsame eit leverandørhovud som ein universell IP-detektor.