Af hverju útgönguhaus ProxyMesh getur vantað í Scrapy

ProxyMesh getur sent leiðsögnargögn á CONNECT áður en Scrapy tekur við dulkóðuðu svari vefsins. Skoðaðu það svarstig sem ber þau í raun.

Það að X-ProxyMesh-IP vanti í HTTPS-afturkall Scrapy sannar ekki beina leið. Í gönguðu HTTPS setur ProxyMesh leiðsagnarhausa á CONNECT-svarið; síðara svar vefsins er inni í TLS og inniheldur ekki sjálfkrafa fyrri gögnin.

Þar sem hausinn birtist í afturkalli skal lesa hann skilyrt:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Þetta er útgangan sem þjónustuveitandinn greinir frá fyrir þau skipti, ekki skilgreint innkomuhostnafn.

Ef göngugögn eru nauðsynleg, notaðu samhæfa handler-samþættingu sem sýnir CONNECT-hausa. ProxyMesh heldur einni einmitt í þeim tilgangi; athugaðu studda Scrapy-útgáfu og niðurhalshandlerinn. Þáttun köngulóarinnar getur ekki leitt í ljós hausa sem flutningurinn gaf aldrei.

Tengdu gögnin við tengingu þeirra. Endurnotkun göngu býr ekki til annað CONNECT-svar fyrir hverja síðu. Fyrir sjálfstætt upprunatengd vistfang sem áfangastaðurinn sér, skoðaðu innkomandi tengingu þess áfangastaðar í stað þess að líta á haus þjónustuveitandans sem algilda IP-skynjara.

Tengdir greinar