Scrapy-യിൽ ProxyMesh-ന്റെ എക്സിറ്റ് ഹെഡർ എന്തുകൊണ്ട് ഇല്ലാതാകാം

Scrapy HTTPS കോൾബാക്കിൽ X-ProxyMesh-IP ഇല്ലാത്തത് നേരിട്ടുള്ള റൂട്ടിംഗ് തെളിയിക്കുന്നില്ല. ടണൽ ചെയ്ത HTTPS-ൽ ProxyMesh റൂട്ടിംഗ് ഹെഡറുകൾ CONNECT പ്രതികരണത്തിൽ ഇടുന്നു; പിന്നീടുള്ള വെബ്സൈറ്റ് പ്രതികരണം TLS-നുള്ളിലാണ്, അത് ആ മുൻ മെറ്റാഡാറ്റ സ്വയമേവ ഉൾപ്പെടുത്തുന്നില്ല.

കോൾബാക്കിൽ ഹെഡർ കാണുന്നിടത്ത് അത് വ്യവസ്ഥാപിതമായി വായിക്കുക:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

ഇത് ആ കൈമാറ്റത്തിനായി ദാതാവ് റിപ്പോർട്ട് ചെയ്യുന്ന എക്സിറ്റാണ്, കോൺഫിഗർ ചെയ്ത എൻട്രി ഹോസ്റ്റ്നാമം അല്ല.

ടണൽ മെറ്റാഡാറ്റ ആവശ്യമെങ്കിൽ, CONNECT ഹെഡറുകൾ വെളിപ്പെടുത്തുന്ന അനുയോജ്യമായ ഹാൻഡ്ലർ സംയോജനം ഉപയോഗിക്കുക. ProxyMesh ഈ ഉദ്ദേശത്തിനായി ഒന്ന് സൂക്ഷിക്കുന്നു; അതിന്റെ പിന്തുണയുള്ള Scrapy പതിപ്പും ഡൗൺലോഡ് ഹാൻഡ്ലറും പരിശോധിക്കുക. ട്രാൻസ്പോർട്ട് ഒരിക്കലും നൽകാത്ത ഹെഡറുകൾ സ്പൈഡർ പാഴ്സിംഗിന് വെളിപ്പെടുത്താനാവില്ല.

മെറ്റാഡാറ്റയെ അതിന്റെ കണക്ഷനുമായി ബന്ധിപ്പിക്കുക. ടണൽ വീണ്ടും ഉപയോഗിക്കുന്നത് ഓരോ പേജിനും മറ്റൊരു CONNECT പ്രതികരണം സൃഷ്ടിക്കുന്നില്ല. ലക്ഷ്യസ്ഥാനം നിരീക്ഷിക്കുന്ന സ്വതന്ത്ര സ്രോതസ്സ് വിലാസത്തിന്, ദാതാവിന്റെ ഹെഡറിനെ സാർവത്രിക IP കണ്ടെത്തലായി കണക്കാക്കുന്നതിന് പകരം ആ ലക്ഷ്യസ്ഥാനത്തിന്റെ ഇൻകമിംഗ് കണക്ഷൻ പരിശോധിക്കുക.