Scrapy मा ProxyMesh को एक्जिट हेडर किन हराउन सक्छ

Scrapy HTTPS कलब्याकमा X-ProxyMesh-IP नहुनुले सिधा राउटिङ प्रमाणित गर्दैन। टनेल गरिएको HTTPS मा ProxyMesh ले राउटिङ हेडरहरू CONNECT प्रतिक्रियामा राख्छ; पछिको वेबसाइट प्रतिक्रिया TLS भित्र हुन्छ र त्यो अघिल्लो मेटाडेटा स्वतः समावेश गर्दैन।

कलब्याकमा हेडर देखिने ठाउँमा यसलाई सशर्त रूपमा पढ्नुहोस्:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

यो त्यो आदानप्रदानका लागि प्रदायकले रिपोर्ट गरेको एक्जिट हो, कन्फिगर गरिएको प्रवेश होस्टनाम होइन।

यदि टनेल मेटाडेटा चाहिन्छ भने, CONNECT हेडर देखाउने उपयुक्त ह्यान्डलर एकीकरण प्रयोग गर्नुहोस्। ProxyMesh ले यही उद्देश्यका लागि एउटा राख्छ; यसको समर्थित Scrapy संस्करण र डाउनलोड ह्यान्डलर जाँच्नुहोस्। स्पाइडर पार्सिङले ट्रान्सपोर्टले कहिल्यै नदिएका हेडर देखाउन सक्दैन।

मेटाडेटालाई यसको जडानसँग जोड्नुहोस्। टनेल पुनः प्रयोग गर्दा प्रत्येक पृष्ठका लागि अर्को CONNECT प्रतिक्रिया सिर्जना हुँदैन। गन्तव्यले देख्ने स्वतन्त्र स्रोत ठेगानाका लागि, प्रदायकको हेडरलाई सार्वभौमिक IP डिटेक्टर मान्नुको सट्टा त्यो गन्तव्यको आगमन जडान जाँच्नुहोस्।