ਪ੍ਰੌਕਸੀ ਰਾਹੀਂ Scrapy AutoThrottle: ਸਲਾਟ ਅਤੇ ਲੇਟੈਂਸੀ
ਟਾਰਗਿਟ ਸਾਈਟ ਦੇ ਡਾਊਨਲੋਡ ਸਲਾਟਾਂ ਨੂੰ ਪ੍ਰੌਕਸੀ ਰਸਤਿਆਂ ਤੋਂ ਵੱਖ ਰੱਖੋ ਅਤੇ ਲੇਟੈਂਸੀ ਨੂੰ ਦੇਖਿਆ ਗਿਆ ਬੇਨਤੀ ਮਾਰਗ ਸਮਝੋ।
ਡਿਫ਼ਾਲਟ ਰੂਪ ਵਿੱਚ Scrapy ਬੇਨਤੀ URL ਦੇ ਡੋਮੇਨ ਤੋਂ ਡਾਊਨਲੋਡ ਸਲਾਟ ਨਿਰਧਾਰਿਤ ਕਰਦਾ ਹੈ। ਕਿਸੇ ਬੇਨਤੀ ਨੂੰ HTTP ਪ੍ਰੌਕਸੀ ਦੇਣ ਨਾਲ ਉਹ URL ਪ੍ਰੌਕਸੀ ਦਾ ਹੋਸਟਨਾਮ ਨਹੀਂ ਬਣਦਾ। ਇਸ ਲਈ ਵੱਖ-ਵੱਖ ਸਾਈਟਾਂ ਦੀਆਂ ਬੇਨਤੀਆਂ ਇੱਕੋ ਵਿਚੋਲਾ ਸਾਂਝਾ ਕਰਦਿਆਂ ਵੀ ਵੱਖਰੇ ਸਲਾਟ ਰੱਖ ਸਕਦੀਆਂ ਹਨ।
AutoThrottle ਦੇਖੀ ਗਈ ਡਾਊਨਲੋਡ ਲੇਟੈਂਸੀ ਵਰਤ ਕੇ ਹਰ ਸਲਾਟ ਦੀ ਦੇਰੀ ਨੂੰ ਸਮਾਯੋਜਿਤ ਕਰਦਾ ਹੈ। ਮਿਆਰੀ ਪ੍ਰਤੀ-ਡੋਮੇਨ ਸਮਕਾਲੀ ਸੀਮਾ ਅਤੇ ਘੱਟੋ-ਘੱਟ ਡਾਊਨਲੋਡ ਦੇਰੀ ਅਜੇ ਵੀ ਲਾਗੂ ਹਨ।
ਐਲਗੋਰਿਦਮ ਬਦਲਣ ਤੋਂ ਪਹਿਲਾਂ ਗਰੁੱਪਿੰਗ ਦੀ ਜਾਂਚ ਕਰੋ
ਕਸਟਮ ਮਿਡਲਵੇਅਰ request.meta["download_slot"] ਨਿਰਧਾਰਿਤ ਕਰ ਸਕਦਾ ਹੈ, ਜੋ ਆਮ ਸਲਾਟ ਚੋਣ ਨੂੰ ਬਦਲ ਦਿੰਦਾ ਹੈ। ਕੁਝ ਪ੍ਰੌਕਸੀ ਐਕਸਟੈਂਸ਼ਨ ਆਪਣੀ ਗਰੁੱਪਿੰਗ ਵਰਤਦੇ ਹਨ। ਜੇ ਅਸੰਬੰਧਿਤ ਸਾਈਟਾਂ ਇੱਕੋ ਥ੍ਰੋਟਲ ਸਾਂਝਾ ਕਰਦੀਆਂ ਦਿਸਣ ਤਾਂ ਉਹ ਸੈਟਿੰਗਾਂ ਵੇਖੋ।
ਇਸ ਦੇ ਉਲਟ, ਹਰ ਪ੍ਰੌਕਸੀ ਲਈ ਵੱਖਰਾ ਸਲਾਟ ਦੇਣ ਨਾਲ ਕਈ ਪ੍ਰੌਕਸੀ ਇੱਕੋ ਸਮੇਂ ਇੱਕੋ ਟਾਰਗਿਟ ਨਾਲ ਸੰਪਰਕ ਕਰ ਸਕਦੀਆਂ ਹਨ। ਇਹ ਕ੍ਰਾਲਰ ਵੱਲੋਂ ਮੰਨਣ ਵਾਲੀ ਸਾਈਟ-ਵਿਆਪੀ ਸੀਮਾ ਨੂੰ ਤੋੜ ਸਕਦਾ ਹੈ। ਸੁਰੱਖਿਅਤ ਸਰੋਤ ਅਨੁਸਾਰ ਸਲਾਟ ਕੁੰਜੀ ਚੁਣੋ।
ਦੇਰੀ ਵਿੱਚ ਤੁਹਾਡਾ ਵਰਤਿਆ ਮਾਰਗ ਸ਼ਾਮਲ ਹੈ
Scrapy ਬੇਨਤੀ ਭੇਜਣ ਤੋਂ ਲੈ ਕੇ HTTP ਹੈਡਰ ਮਿਲਣ ਤੱਕ ਦੀ ਲੇਟੈਂਸੀ ਮਾਪਦਾ ਹੈ। ਪ੍ਰੌਕਸੀ ਰਾਹੀਂ ਜਾਣ ਵਾਲੀ ਬੇਨਤੀ ਉਸ ਨਿਰੀਖਣ ਵਿੱਚ ਵਿਚੋਲੇ ਦੀ ਕਤਾਰ ਅਤੇ ਫਾਰਵਰਡਿੰਗ ਦੇਰੀ ਸ਼ਾਮਲ ਕਰ ਸਕਦੀ ਹੈ। AutoThrottle ਸਿਰਫ਼ ਮੂਲ ਲਈ ਵੱਖਰਾ ਪ੍ਰੋਸੈਸਿੰਗ ਸਮਾਂ ਨਹੀਂ ਪਾਉਂਦਾ।
ਸਮਕਾਲੀਤਾ ਵਧਾਉਣ ਨਾਲ ਉਹ ਮਾਪ ਸਾਈਟ ਨੂੰ ਵੱਖ ਨਹੀਂ ਕਰ ਸਕਦਾ। ਜਦੋਂ ਦੋਵੇਂ ਮਹੱਤਵਪੂਰਨ ਹੋਣ ਤਾਂ ਟਾਰਗਿਟ ਪ੍ਰਤੀ ਸ਼ਿਸ਼ਟਾਚਾਰ ਅਤੇ ਪ੍ਰੌਕਸੀ ਸਮਰੱਥਾ ਨੂੰ ਵੱਖਰੀਆਂ ਸੀਮਾਵਾਂ ਵਜੋਂ ਰੱਖੋ। ਸਾਂਝੀ ਪ੍ਰੌਕਸੀ ਨੂੰ ਟਾਰਗਿਟ ਸਲਾਟਾਂ ਵਿੱਚ ਵਾਧੂ ਸਮਕਾਲੀ ਬਜਟ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ, ਜਦੋਂ ਕਿ ਹਰ ਟਾਰਗਿਟ ਆਪਣੀ ਦਰ ਨੀਤੀ ਰੱਖਦਾ ਹੈ।