Scrapy मध्ये ProxyMesh चा एग्झिट हेडर का गायब होऊ शकतो

Scrapy HTTPS कॉलबॅकमध्ये X-ProxyMesh-IP नसणे थेट राउटिंग सिद्ध करत नाही. टनेल केलेल्या HTTPS मध्ये ProxyMesh राउटिंग हेडर CONNECT प्रतिसादावर ठेवते; नंतरचा वेबसाइट प्रतिसाद TLS च्या आत असतो आणि तो आधीचा मेटाडेटा स्वयंचलितपणे समाविष्ट करत नाही.

कॉलबॅकमध्ये हेडर दिसतो तिथे तो सशर्त वाचा:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

हे त्या देवाणघेवाणीसाठी प्रदात्याने नोंदवलेले एग्झिट आहे, कॉन्फिगर केलेले एंट्री होस्टनाव नाही.

टनेल मेटाडेटा आवश्यक असल्यास, CONNECT हेडर उघड करणारे सुसंगत हँडलर इंटिग्रेशन वापरा. ProxyMesh या उद्देशासाठी एक ठेवते; त्याची समर्थित Scrapy आवृत्ती आणि डाउनलोड हँडलर तपासा. स्पायडर पार्सिंग असे हेडर उघड करू शकत नाही जे ट्रान्सपोर्टने कधीही दिले नाहीत.

मेटाडेटाला त्याच्या कनेक्शनशी जोडा. टनेल पुन्हा वापरल्याने प्रत्येक पानासाठी अजून एक CONNECT प्रतिसाद तयार होत नाही. गंतव्यस्थान जे स्वतंत्र स्रोत पत्ता पाहते त्यासाठी, प्रदात्याच्या हेडरला सार्वत्रिक IP डिटेक्टर मानण्याऐवजी त्या गंतव्यस्थानाचे येणारे कनेक्शन तपासा.