Wêrom't de útgongskop fan ProxyMesh yn Scrapy ûntbrekke kin
ProxyMesh kin routingmetadata op CONNECT stjoere foardat Scrapy it fersifere antwurd fan 'e website ûntfangt. Undersykje de antwurdstap dy't se eins draacht.
It ûntbrekken fan X-ProxyMesh-IP yn in Scrapy HTTPS-callback bewiist gjin direkte routing. By tunnele HTTPS set ProxyMesh routingkoppen op it CONNECT-antwurd; it lettere website-antwurd sit yn TLS en befettet dy eardere metadata net automatysk.
Wêr't de kop yn in callback sichtber is, lês him betingstich:
exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))
Dit is de troch de provider rapportearre útgong foar dy útwikseling, net de konfigurearre yngongs-hostnamme.
As tunnelmetadata nedich is, brûk dan in kompatibele handler-yntegraasje dy't CONNECT-koppen bleatleit. ProxyMesh ûnderhâldt der ien foar dit doel; kontrolearje de stipe Scrapy-ferzje en de download-handler. It parsearjen troch de spin kin gjin koppen sjen litte dy't de transport nea levere.
Keppelje metadata oan syn ferbining. It werbrûken fan in tunnel makket net foar elke side in oar CONNECT-antwurd. Foar in ûnôfhinklik boarne-adres dat it bestimming sjocht, ûndersykje de ynkommende ferbining fan dy bestimming ynstee fan in providerkop as universele IP-detektor te behanneljen.