Scrapy shell ਵਿੱਚ ਇੱਕ ਫੈਚ ਲਈ ਪ੍ਰੌਕਸੀ

Scrapy shell ਦੇ ਅੰਦਰ, ਉਹ ਬੇਨਤੀ ਬਣਾਓ ਜੋ ਤੁਸੀਂ ਡਾਊਨਲੋਡਰ ਤੋਂ ਕਰਵਾਉਣਾ ਚਾਹੁੰਦੇ ਹੋ:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware ਉਸ Request ਦੇ ਮੈਟਾਡੇਟਾ ਤੋਂ ਪ੍ਰੌਕਸੀ ਮੁੱਲ ਪੜ੍ਹਦਾ ਹੈ। ਇਹ ਸਰਗਰਮ ਡਾਊਨਲੋਡਰ ਮਿਡਲਵੇਅਰ ਸੰਰਚਨਾ ਵਿੱਚ ਸਮਰੱਥ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਸ ਤੋਂ ਬਾਅਦ response ਵੇਰੀਏਬਲ ਇਸ ਫੈਚ ਦਾ ਹੈ। ਇਸ ਜਨਤਕ URL ਲਈ, ਜੇ ਜਨਤਕ ਵਿਚੋਲੇ ਮਨਜ਼ੂਰ ਹਨ ਤਾਂ HTTP ਪ੍ਰੌਕਸੀ ਸੂਚੀ ਤੋਂ ਪ੍ਰਮਾਣਿਕਤਾ ਰਹਿਤ HTTP ਪਤਾ ਚੁਣੋ, ਫਿਰ ਇਸਦਾ URL ਉਸ ਬੇਨਤੀ ਦੇ ਪ੍ਰੌਕਸੀ ਮੈਟਾਡੇਟਾ ਵਿੱਚ ਰੱਖੋ।

Scrapy ਪ੍ਰੋਜੈਕਟ ਤੋਂ shell ਸ਼ੁਰੂ ਕਰਨ ਨਾਲ ਇਹ ਉਸ ਪ੍ਰੋਜੈਕਟ ਦੀ ਸੰਰਚਨਾ ਲੋਡ ਕਰ ਸਕਦਾ ਹੈ। ਇਹ ਮਿਡਲਵੇਅਰ ਅਤੇ ਹੋਰ ਸੈਟਿੰਗਾਂ ਚੁਣਦਾ ਹੈ; ਇਹ ਆਪ ਕੋਈ ਖਾਸ ਪ੍ਰੌਕਸੀ ਐਂਡਪੌਇੰਟ ਨਹੀਂ ਚੁਣਦਾ। ਉੱਪਰਲਾ ਬੇਨਤੀ ਮੈਟਾਡੇਟਾ ਉਹ ਚੋਣ ਸਿੱਧੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

Basic ਪ੍ਰਮਾਣ-ਪੱਤਰਾਂ ਵਾਲੀ ਪ੍ਰੌਕਸੀ ਲਈ, Scrapy ਪ੍ਰੌਕਸੀ URL ਵਿੱਚ ਵਰਤੋਂਕਾਰ ਜਾਣਕਾਰੀ ਦਸਤਾਵੇਜ਼ ਕਰਦਾ ਹੈ। ਇਸਨੂੰ ਬਣਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਖਾਤੇ ਦੇ ਹਿੱਸਿਆਂ ਵਿੱਚ ਰਾਖਵੇਂ ਅੱਖਰ ਐਨਕੋਡ ਕਰੋ। ਉਸ ਖਾਤੇ ਲਈ ਵੈੱਬਸਾਈਟ ਦਾ Authorization ਹੈਡਰ ਜੋੜਨ ਦੀ ਲੋੜ ਨਹੀਂ।

Scrapy ਆਪਣੇ ਸਮਰਥਿਤ ਵਾਤਾਵਰਣ ਵੇਰੀਏਬਲਾਂ ਤੋਂ ਵੀ ਪ੍ਰੌਕਸੀਆਂ ਲੱਭ ਸਕਦਾ ਹੈ। ਬੇਨਤੀ ਦੇ ਸਪੱਸ਼ਟ ਪ੍ਰੌਕਸੀ ਮੈਟਾਡੇਟਾ ਨੂੰ ਤਰਜੀਹ ਮਿਲਦੀ ਹੈ। ਜਾਣਬੁੱਝ ਕੇ ਸਿੱਧੀ ਬੇਨਤੀ ਲਈ, None ਪ੍ਰੌਕਸੀ ਮੁੱਲ ਉਸ ਮਿਡਲਵੇਅਰ ਦੀ ਵਾਤਾਵਰਣ-ਅਧਾਰਿਤ ਚੋਣ ਨੂੰ ਬੇਨਤੀ ਲਈ ਅਸਮਰੱਥ ਕਰਦਾ ਹੈ।