Зошто излезната глава на ProxyMesh може да недостасува во Scrapy

Отсуството на X-ProxyMesh-IP во HTTPS повратен повик на Scrapy не докажува директно рутирање. Кај тунелиран HTTPS, ProxyMesh ги поставува главите за рутирање на одговорот CONNECT; подоцнежниот одговор на страницата е внатре во TLS и не ги вклучува автоматски тие претходни метаподатоци.

Каде главата е изложена во повратен повик, читајте ја условно:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Ова е излезот што го пријавува провајдерот за таа размена, а не конфигурираното име на влезниот домаќин.

Ако се потребни метаподатоци од тунелот, користете компатибилна интеграција на обработувач што ги изложува главите CONNECT. ProxyMesh одржува една токму за таа цел; проверете ја поддржаната верзија на Scrapy и обработувачот за преземање. Анализата на пајакот не може да открие глави што транспортот никогаш не ги доставил.

Поврзете ги метаподатоците со нивната врска. Повторното користење на тунел не создава уште еден одговор CONNECT за секоја страница. За независна адреса на изворот што ја гледа одредиштето, проверете ја влезната врска на тоа одредиште наместо да ја третирате главата на провајдерот како универзален детектор на IP.