Kial la elira kaplinio de ProxyMesh povas manki en Scrapy
ProxyMesh povas sendi enkursigajn metadatumojn sur CONNECT antaŭ ol Scrapy ricevas la ĉifritan respondon de la retejo. Ekzamenu la respondan stadion, kiu vere portas ilin.
Mankanta X-ProxyMesh-IP en HTTPS-retrovoko de Scrapy ne pruvas rektan enkursigadon. Ĉe tunela HTTPS, ProxyMesh metas enkursigajn kapliniojn sur la CONNECT-respondon; la posta reteja respondo estas ene de TLS kaj ne aŭtomate inkluzivas tiujn pli fruajn metadatumojn.
Kie la kaplinio videblas en retrovoko, legu ĝin kondiĉe:
exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))Ĉi tio estas la eliro raportita de la provizanto por tiu interŝanĝo, ne la agordita enira gastigantnomo.
Se tunelaj metadatumoj necesas, uzu kongruan handler-integriĝon, kiu elmontras CONNECT-kapliniojn. ProxyMesh tenas unu por ĉi tiu celo; kontrolu la subtenatan Scrapy-version kaj la elŝutan handler-on. Analizado de la araneo ne povas malkaŝi kapliniojn, kiujn la transporto neniam liveris.
Ligu metadatumojn al ilia konekto. Reuzo de tunelo ne kreas alian CONNECT-respondon por ĉiu paĝo. Por sendependa fontadreso observata de la celo, ekzamenu la envenantan konekton de tiu celo anstataŭ trakti provizantan kaplinion kiel universalan IP-detektilon.