Kodėl ProxyMesh išėjimo antraštė gali dingti Scrapy

ProxyMesh gali siųsti maršrutizavimo metaduomenis per CONNECT anksčiau, nei Scrapy gauna užšifruotą svetainės atsakymą. Ištirkite atsakymo etapą, kuris juos iš tikrųjų neša.

X-ProxyMesh-IP nebuvimas Scrapy HTTPS atgaliniame iškvietime neįrodo tiesioginio maršrutizavimo. Tuneliuojant HTTPS, ProxyMesh deda maršrutizavimo antraštes į CONNECT atsakymą; vėlesnis svetainės atsakymas yra TLS viduje ir automatiškai neapima tų ankstesnių metaduomenų.

Kai antraštė atskleidžiama atgaliniame iškvietime, skaitykite ją sąlygiškai:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Tai tiekėjo nurodytas išėjimas tam mainų įvykiui, o ne sukonfigūruotas įėjimo hosto vardas.

Jei reikia tunelio metaduomenų, naudokite suderinamą apdorojimo programos integraciją, kuri atskleidžia CONNECT antraštes. ProxyMesh palaiko vieną būtent tam; patikrinkite palaikomą Scrapy versiją ir atsisiuntimo apdorojimo programą. Vorio analizė negali atskleisti antraščių, kurių transportas niekada nepateikė.

Susiekite metaduomenis su jų ryšiu. Tunelio pakartotinis naudojimas nesukuria dar vieno CONNECT atsakymo kiekvienam puslapiui. Nepriklausomam šaltinio adresui, kurį mato paskirties vieta, ištirkite tos paskirties vietos gaunamąjį ryšį, o ne laikykite tiekėjo antraštės universaliu IP detektoriumi.

Susiję straipsniai