Scrapy ਵਿੱਚ ProxyMesh ਦਾ ਐਗਜ਼ਿਟ ਹੈਡਰ ਕਿਉਂ ਗੁੰਮ ਹੋ ਸਕਦਾ ਹੈ
ProxyMesh CONNECT ਉੱਤੇ ਰੂਟਿੰਗ ਮੈਟਾਡੇਟਾ ਭੇਜ ਸਕਦਾ ਹੈ, ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਕਿ Scrapy ਨੂੰ ਵੈੱਬਸਾਈਟ ਦਾ ਐਨਕ੍ਰਿਪਟਿਡ ਜਵਾਬ ਮਿਲੇ। ਉਹ ਜਵਾਬ ਪੜਾਅ ਜਾਂਚੋ ਜੋ ਅਸਲ ਵਿੱਚ ਇਸਨੂੰ ਲਿਜਾਂਦਾ ਹੈ।
Scrapy HTTPS ਕਾਲਬੈਕ ਵਿੱਚ X-ProxyMesh-IP ਦਾ ਨਾ ਹੋਣਾ ਸਿੱਧੀ ਰੂਟਿੰਗ ਸਾਬਤ ਨਹੀਂ ਕਰਦਾ। ਟਨਲ ਵਾਲੇ HTTPS ਵਿੱਚ ProxyMesh ਰੂਟਿੰਗ ਹੈਡਰ CONNECT ਜਵਾਬ ਉੱਤੇ ਰੱਖਦਾ ਹੈ; ਬਾਅਦ ਵਿੱਚ ਆਉਣ ਵਾਲਾ ਵੈੱਬਸਾਈਟ ਜਵਾਬ TLS ਦੇ ਅੰਦਰ ਹੁੰਦਾ ਹੈ ਅਤੇ ਉਹ ਪਹਿਲਾਂ ਵਾਲਾ ਮੈਟਾਡੇਟਾ ਆਪਣੇ ਆਪ ਸ਼ਾਮਲ ਨਹੀਂ ਕਰਦਾ।
ਜਿੱਥੇ ਕਾਲਬੈਕ ਵਿੱਚ ਹੈਡਰ ਦਿਸਦਾ ਹੈ, ਉੱਥੇ ਇਸਨੂੰ ਸ਼ਰਤ ਅਨੁਸਾਰ ਪੜ੍ਹੋ:
exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))ਇਹ ਉਸ ਵਟਾਂਦਰੇ ਲਈ ਪ੍ਰਦਾਤਾ ਵੱਲੋਂ ਦੱਸਿਆ ਗਿਆ ਐਗਜ਼ਿਟ ਹੈ, ਸੈਟ ਕੀਤਾ ਐਂਟਰੀ ਹੋਸਟਨਾਮ ਨਹੀਂ।
ਜੇ ਟਨਲ ਮੈਟਾਡੇਟਾ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ CONNECT ਹੈਡਰ ਦਿਖਾਉਣ ਵਾਲਾ ਅਨੁਕੂਲ ਹੈਂਡਲਰ ਇੰਟੀਗ੍ਰੇਸ਼ਨ ਵਰਤੋ। ProxyMesh ਇਸੇ ਮਕਸਦ ਲਈ ਇੱਕ ਰੱਖਦਾ ਹੈ; ਇਸਦਾ ਸਮਰਥਿਤ Scrapy ਸੰਸਕਰਣ ਅਤੇ ਡਾਊਨਲੋਡ ਹੈਂਡਲਰ ਜਾਂਚੋ। ਸਪਾਈਡਰ ਪਾਰਸਿੰਗ ਉਹ ਹੈਡਰ ਨਹੀਂ ਦਿਖਾ ਸਕਦੀ ਜੋ ਟਰਾਂਸਪੋਰਟ ਨੇ ਕਦੇ ਦਿੱਤੇ ਹੀ ਨਹੀਂ।
ਮੈਟਾਡੇਟਾ ਨੂੰ ਇਸਦੇ ਕਨੈਕਸ਼ਨ ਨਾਲ ਜੋੜੋ। ਟਨਲ ਦਾ ਦੁਬਾਰਾ ਵਰਤੋਂ ਹਰ ਪੰਨੇ ਲਈ ਇੱਕ ਹੋਰ CONNECT ਜਵਾਬ ਨਹੀਂ ਬਣਾਉਂਦਾ। ਮੰਜ਼ਿਲ ਵੱਲੋਂ ਦੇਖੇ ਗਏ ਸੁਤੰਤਰ ਸਰੋਤ ਪਤੇ ਲਈ, ਪ੍ਰਦਾਤਾ ਹੈਡਰ ਨੂੰ ਸਰਵਵਿਆਪੀ IP ਡਿਟੈਕਟਰ ਮੰਨਣ ਦੀ ਬਜਾਏ ਉਸ ਮੰਜ਼ਿਲ ਦੇ ਆਉਣ ਵਾਲੇ ਕਨੈਕਸ਼ਨ ਦੀ ਜਾਂਚ ਕਰੋ।