Pse koka e daljes së ProxyMesh mund të mungojë në Scrapy
ProxyMesh mund të dërgojë metadata të rrugëtimit në CONNECT përpara se Scrapy të marrë përgjigjen e kriptuar të faqes. Shqyrtoni fazën e përgjigjes që i mban ato në të vërtetë.
Mungesa e X-ProxyMesh-IP në një callback HTTPS të Scrapy nuk provon rrugëtim të drejtpërdrejtë. Me HTTPS të tunelizuar, ProxyMesh vendos kokën e rrugëtimit në përgjigjen CONNECT; përgjigjja e mëvonshme e faqes është brenda TLS dhe nuk i përfshin automatikisht ato metadata të mëparshme.
Aty ku koka ekspozohet në një callback, lexojeni me kusht:
exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))Kjo është dalja e raportuar nga ofruesi për atë shkëmbim, jo emri i hostit të hyrjes i konfiguruar.
Nëse kërkohen metadata të tunelit, përdorni një integrim të përputhshëm të trajtuesit që ekspozon kokën CONNECT. ProxyMesh mban një pikërisht për këtë qëllim; kontrolloni versionin e mbështetur të Scrapy dhe trajtuesin e shkarkimit. Analiza nga merimanga nuk mund të zbulojë koka që transporti nuk i ka dhënë kurrë.
Lidhni metadata me lidhjen e tyre. Ripërdorimi i një tuneli nuk krijon një përgjigje tjetër CONNECT për çdo faqe. Për një adresë burimi të pavarur që vërehet nga destinacioni, shqyrtoni lidhjen hyrëse të atij destinacioni në vend që të trajtoni kokën e ofruesit si zbulues universal IP.