Scrapy ਦੇ HTTP ਪ੍ਰੌਕਸੀ ਮਿਡਲਵੇਅਰ ਨਾਲ ਪ੍ਰਤੀ-ਬੇਨਤੀ ਪ੍ਰੌਕਸੀ

Scrapy ਦਾ HTTP ਪ੍ਰੌਕਸੀ ਮਿਡਲਵੇਅਰ ਬੇਨਤੀ ਮੈਟਾਡੇਟਾ ਤੋਂ ਪ੍ਰੌਕਸੀ ਪੜ੍ਹਦਾ ਹੈ:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

ਦਸਤਾਵੇਜ਼ ਦਾ ਐਂਡਪੌਇੰਟ ਬਦਲੋ ਅਤੇ ਮਿਡਲਵੇਅਰ ਸਮਰੱਥ ਰੱਖੋ। HTTP ਪ੍ਰੌਕਸੀ ਸੂਚੀ ਇਸ ਬੇਨਤੀ URL ਲਈ ਜਨਤਕ ਉਮੀਦਵਾਰ ਪੇਸ਼ ਕਰਦੀ ਹੈ। ਇਹ ਬੇਨਤੀ ਦਾ ਰਸਤਾ ਚੁਣਦਾ ਹੈ; ਪ੍ਰੌਕਸੀ ਪੂਲ ਨੂੰ ਵੱਖਰੀ ਚੋਣ ਤਰਕ ਦੀ ਲੋੜ ਹੈ।

ਪ੍ਰਮਾਣਿਕਤਾ ਚੁਣੇ ਗਏ ਐਂਡਪੌਇੰਟ ਦਾ ਪਾਲਣ ਕਰਦੀ ਹੈ

ਬਿਲਟ-ਇਨ ਮਿਡਲਵੇਅਰ ਆਪਣੇ ਸਮਰਥਿਤ ਪ੍ਰੌਕਸੀ URL ਅਤੇ ਸੰਬੰਧਿਤ ਅਧਿਕਾਰ ਹੈਡਰ ਰਾਹੀਂ ਦਿੱਤੇ ਸਬੰਧਕਾਂ ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ। ਰਾਖਵੇਂ URL ਅੱਖਰ escape ਕਰੋ ਅਤੇ ਉਸ URL ਨੂੰ ਲੌਗ ਕਰਨ ਤੋਂ ਬਚੋ।

ਐਂਡਪੌਇੰਟ ਬਦਲਣ ਤੋਂ ਬਾਅਦ ਵੱਖਰੇ ਮਿਡਲਵੇਅਰ ਨੂੰ ਪਿਛਲੇ ਪ੍ਰੌਕਸੀ ਲਈ Basic ਹੈਡਰ ਨਹੀਂ ਰੱਖਣਾ ਚਾਹੀਦਾ। ਇੱਕ ਪਰਤ ਰਸਤੇ ਅਤੇ ਇਸਦੇ ਸਬੰਧਕਾਂ ਨੂੰ ਇਕੱਠੇ ਸੰਭਾਲੇ।

ਚੋਣ ਕ੍ਰਮ ਅਤੇ ਡਿਫਾਲਟ

ਜੇ ਕਸਟਮ ਡਾਊਨਲੋਡਰ ਮਿਡਲਵੇਅਰ ਪ੍ਰੌਕਸੀ ਚੁਣਦਾ ਹੈ, ਤਾਂ ਬਿਲਟ-ਇਨ ਪ੍ਰੌਕਸੀ ਮਿਡਲਵੇਅਰ ਦੁਆਰਾ ਬੇਨਤੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਇਸਨੂੰ ਚਲਾਓ। ਸਥਾਪਿਤ ਸੰਸਕਰਣ ਦਾ ਕ੍ਰਮ ਅਤੇ API ਜਾਂਚੋ; ਅਪ੍ਰਚਲਿਤ scrapy.contrib ਆਯਾਤ ਪੁਰਾਣੇ ਸੰਸਕਰਣਾਂ ਦੇ ਹਨ।

ਪ੍ਰਕਿਰਿਆ ਵਾਤਾਵਰਣ ਸਕੀਮ-ਵਿਸ਼ੇਸ਼ ਡਿਫਾਲਟ ਵੀ ਪ੍ਰਦਾਨ ਕਰ ਸਕਦਾ ਹੈ। ਜਾਣਬੁੱਝ ਕੇ ਸਿੱਧੀ ਬੇਨਤੀ ਲਈ ਦਸਤਾਵੇਜ਼ੀ ਵਿਸ਼ੇਸ਼ proxy ਮੈਟਾਡੇਟਾ ਵਿਵਹਾਰ ਵਰਤੋ: ਗੈਰਹਾਜ਼ਰ ਕੁੰਜੀ ਦਾ ਅਰਥ ਹਮੇਸ਼ਾ ਸਿੱਧੀ ਪਹੁੰਚ ਨਹੀਂ।

ਅਸਲ ਨਤੀਜਾ ਜਾਂਚੋ। 407 ਪ੍ਰੌਕਸੀ ਪ੍ਰਮਾਣਿਕਤਾ ਨਾਲ ਸੰਬੰਧਿਤ ਹੈ, ਜਦੋਂ ਕਿ ਵੈੱਬਸਾਈਟ ਦੀ ਦਰ ਸੀਮਾ ਜਾਂ ਪਹੁੰਚ ਇਨਕਾਰ ਰਸਤਾ ਸਹੀ ਢੰਗ ਨਾਲ ਕੰਮ ਕਰਨ ਤੋਂ ਬਾਅਦ ਆ ਸਕਦਾ ਹੈ।