Неге ProxyMesh шығу тақырыбы Scrapy ішінде жоғалуы мүмкін
ProxyMesh маршруттау метадеректерін CONNECT арқылы Scrapy сайттың шифрланған жауабын алғанға дейін жібере алады. Оларды шынымен тасымалдайтын жауап кезеңін тексеріңіз.
Scrapy HTTPS шақыруында X-ProxyMesh-IP жоқ болуы тікелей маршруттауды дәлелдемейді. Туннельді HTTPS-те ProxyMesh маршруттау тақырыптарын CONNECT жауабына қояды; кейінгі сайт жауабы TLS ішінде болады және сол бұрынғы метадеректерді өздігінен қоспайды.
Тақырып шақыруда көрінетін жерде оны шартты түрде оқыңыз:
exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))Бұл сол айырбас үшін провайдер хабарлаған шығу, конфигурацияланған кіру хост атауы емес.
Егер туннель метадеректері қажет болса, CONNECT тақырыптарын ашатын үйлесімді handler интеграциясын пайдаланыңыз. ProxyMesh дәл осы мақсат үшін біреуін ұстайды; қолдау көрсетілетін Scrapy нұсқасын және жүктеу handler-ін тексеріңіз. Өрмекші талдауы тасымалдау ешқашан бермеген тақырыптарды аша алмайды.
Метадеректерді олардың қосылысымен байланыстырыңыз. Туннельді қайта пайдалану әр бет үшін тағы бір CONNECT жауабын жасамайды. Межелеу нүктесі байқайтын тәуелсіз бастау мекенжайы үшін провайдер тақырыбын әмбебап IP детекторы деп санаудың орнына сол межелеу нүктесінің кіріс қосылысын тексеріңіз.