Waarom ProxyMesh se uitgangskop in Scrapy kan ontbreek
ProxyMesh kan routeringsmetadata op CONNECT stuur voordat Scrapy die geënkripteerde webwerfrespons ontvang. Ondersoek die responsfase wat dit werklik dra.
Die afwesigheid van X-ProxyMesh-IP in 'n Scrapy HTTPS-terugroep bewys nie direkte routering nie. By tonnel-HTTPS plaas ProxyMesh routeringskoppe op die CONNECT-antwoord; die latere webwerfrespons is binne TLS en bevat nie outomaties daardie vroeëre metadata nie.
Waar die kop in 'n terugroep blootgestel word, lees dit voorwaardelik:
exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))Dit is die verskaffer-gerapporteerde uitgang vir daardie transaksie, nie die gekonfigureerde intree-hostnaam nie.
As tonnelmetadata vereis word, gebruik 'n versoenbare handler-integrasie wat CONNECT-koppe blootlê. ProxyMesh onderhou een vir hierdie doel; kontroleer die ondersteunde Scrapy-weergawe en die aflaai-handler. Spinnekop-ontleding kan nie koppe openbaar wat die transport nooit verskaf het nie.
Koppel metadata aan sy verbinding. Hergebruik van 'n tonnel skep nie vir elke bladsy nog 'n CONNECT-antwoord nie. Vir 'n onafhanklike bronadres wat deur die bestemming waargeneem word, ondersoek daardie bestemming se inkomende verbinding eerder as om 'n verskafferkop as 'n universele IP-detektor te behandel.