Zašto izlazno zaglavlje ProxyMesh-a može nedostajati u Scrapy-ju

Odsustvo X-ProxyMesh-IP u Scrapy HTTPS povratnom pozivu ne dokazuje direktno usmjeravanje. Kod tuneliranog HTTPS-a ProxyMesh postavlja zaglavlja usmjeravanja na odgovor CONNECT; kasniji odgovor web stranice nalazi se unutar TLS-a i ne uključuje automatski te ranije metapodatke.

Gdje je zaglavlje izloženo u povratnom pozivu, čitajte ga uslovno:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Ovo je izlaz koji je pružalac prijavio za tu razmjenu, a ne konfigurisano ime ulaznog hosta.

Ako su potrebni metapodaci tunela, upotrijebite kompatibilnu integraciju rukovaoca koja izlaže CONNECT zaglavlja. ProxyMesh održava jednu upravo za to; provjerite podržanu verziju Scrapy-ja i rukovaoca preuzimanja. Parsiranje pauka ne može otkriti zaglavlja koja transport nikada nije dostavio.

Povežite metapodatke s njihovom vezom. Ponovno korištenje tunela ne stvara još jedan CONNECT odgovor za svaku stranicu. Za nezavisnu adresu izvora koju vidi odredište, pregledajte dolaznu vezu tog odredišta umjesto da zaglavlje pružaoca tretirate kao univerzalni detektor IP adresa.