Zakaj lahko v Scrapy manjka izhodna glava ProxyMesh

Odsotnost X-ProxyMesh-IP v povratnem klicu HTTPS v Scrapy ne dokazuje neposrednega usmerjanja. Pri tuneliranem HTTPS ProxyMesh postavi usmerjevalne glave na odgovor CONNECT; poznejši odgovor spletnega mesta je znotraj TLS in teh prejšnjih metapodatkov ne vključuje samodejno.

Kjer je glava izpostavljena v povratnem klicu, jo berite pogojno:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

To je izhod, ki ga ponudnik sporoči za to izmenjavo, ne konfigurirano ime vhodnega gostitelja.

Če so potrebni metapodatki tunela, uporabite združljivo integracijo upravljalnika, ki razkrije glave CONNECT. ProxyMesh eno vzdržuje prav v ta namen; preverite podprto različico Scrapy in upravljalnik prenosa. Razčlenjevanje pajka ne more razkriti glav, ki jih prenos nikoli ni zagotovil.

Metapodatke povežite z njihovo povezavo. Ponovna uporaba tunela ne ustvari še enega odgovora CONNECT za vsako stran. Za neodvisen naslov vira, ki ga opazi cilj, preglejte dohodno povezavo tega cilja, namesto da bi glavo ponudnika obravnavali kot univerzalni zaznavalnik IP.