ਕੀ ਫਾਰਵਰਡ ਪ੍ਰੌਕਸੀ ਕ੍ਰਾਲਰ ਲਈ robots.txt ਲਾਗੂ ਕਰਦੀ ਹੈ?

ਕ੍ਰਾਲਰ ਨੂੰ HTTP ਪ੍ਰੌਕਸੀ ਦੇਣਾ ਇਸ ਦੀਆਂ ਬੇਨਤੀਆਂ ਦੇ ਵੈੱਬਸਾਈਟ ਤੱਕ ਪਹੁੰਚਣ ਦਾ ਢੰਗ ਬਦਲਦਾ ਹੈ। ਪਰ ਇਸ ਨਾਲ ਪ੍ਰੌਕਸੀ robots.txt ਨਹੀਂ ਲਿਆਵੇਗੀ, ਕ੍ਰਾਲਰ ਦਾ ਨਿਯਮ-ਸਮੂਹ ਨਹੀਂ ਚੁਣੇਗੀ ਅਤੇ ਨਾ ਹੀ ਇਸ ਦੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ ਸੁਚੱਜੇ ਢੰਗ ਨਾਲ ਤਹਿ ਕਰੇਗੀ।

Robots Exclusion Protocol ਕ੍ਰਾਲਰਾਂ ਲਈ ਨਿਯਮ ਦੱਸਦਾ ਹੈ। ਇਸ ਵਿੱਚ ਮਿਲਾਨ, ਲਿਆਉਣ ਵਿੱਚ ਅਸਫਲਤਾ, ਰੀਡਾਇਰੈਕਟ ਅਤੇ ਕੈਸ਼ ਦਾ ਵਿਵਹਾਰ ਸ਼ਾਮਲ ਹੈ। ਜੋ ਪ੍ਰੌਕਸੀ ਸਿਰਫ਼ ਮੰਗਿਆ ਦਸਤਾਵੇਜ਼ ਅੱਗੇ ਭੇਜਦੀ ਹੈ, ਉਸ ਨੇ ਕ੍ਰਾਲਰ ਵੱਲੋਂ ਉਹ ਨੀਤੀ ਲਾਗੂ ਨਹੀਂ ਕੀਤੀ।

ਨਿਯਮਾਂ ਦਾ ਫ਼ੈਸਲਾ ਕ੍ਰਾਲਰ ਦੀ ਬੇਨਤੀ-ਕਤਾਰ ਦੇ ਨੇੜੇ ਰੱਖੋ। ਕੰਮ ਭੇਜਣ ਤੋਂ ਪਹਿਲਾਂ ਲੋੜੀਂਦੀ ਪਛਾਣ, ਟਾਰਗਿਟ URI ਅਤੇ ਤਹਿ ਦੀ ਸਥਿਤੀ ਉੱਥੇ ਹੀ ਉਪਲਬਧ ਹੁੰਦੀ ਹੈ।

ਪ੍ਰੌਕਸੀ ਵੱਲ ਫਿਲਟਰ ਕਰਨਾ ਸੁਣਨ ਨਾਲੋਂ ਔਖਾ ਕਿਉਂ ਹੈ

ਸਾਧਾਰਨ HTTP ਲਈ ਖ਼ਾਸ ਤੌਰ 'ਤੇ ਬਣਾਇਆ ਫਿਲਟਰ ਟਾਰਗਿਟ ਪਥ ਅਤੇ User-Agent ਵੇਖ ਸਕਦਾ ਹੈ। ਫਿਰ ਵੀ ਇਸ ਨੂੰ ਸੱਚਾ ਨਿਯਮ-ਲਾਗੂਕਰਨ ਅਤੇ ਲਾਗੂ ਹੋਣ ਵਾਲੀ robots ਫਾਈਲ ਲਿਆਉਣ, ਕੈਸ਼ ਕਰਨ ਤੇ ਅੱਪਡੇਟ ਕਰਨ ਦੀ ਨਿਸ਼ਚਿਤ ਨੀਤੀ ਚਾਹੀਦੀ ਹੈ। ਕੁਝ Disallow ਲਾਈਨਾਂ ਨੂੰ ਸਥਿਰ ਪਤਾ-ਰੋਕਾਂ ਵਿੱਚ ਬਦਲਣਾ ਪੂਰਾ ਪ੍ਰੋਟੋਕੋਲ ਨਹੀਂ ਹੈ।

ਸਧਾਰਨ CONNECT ਰਾਹੀਂ HTTPS ਵਿੱਚ ਫਾਰਵਰਡ ਪ੍ਰੌਕਸੀ ਸੁਰੰਗ ਦੀ ਮੰਜ਼ਿਲ ਵੇਖਦੀ ਹੈ, ਹਰ ਐਨਕ੍ਰਿਪਟਿਡ ਸਫ਼ੇ ਦਾ ਪਥ ਅਤੇ ਅੰਦਰਲਾ User-Agent ਨਹੀਂ। ਜੇ ਕੋਈ ਹੋਰ ਸੁਚੇਤ ਪ੍ਰਬੰਧ ਇਹ ਨਾ ਦੇਵੇ, ਤਾਂ ਪਥ-ਪੱਧਰੀ robots ਫ਼ੈਸਲਿਆਂ ਲਈ ਲੋੜੀਂਦੀ ਜਾਣਕਾਰੀ ਇਸ ਕੋਲ ਨਹੀਂ।

ਬਾਹਰ ਜਾਣ ਵਾਲਾ ਪਤਾ ਬਦਲਣ ਨਾਲ ਵੀ ਮਨਾਹੀ ਵਾਲਾ ਪਥ ਮਨਜ਼ੂਰ ਨਹੀਂ ਬਣਦਾ। ਕ੍ਰਾਲਰ ਦੀ ਸਰਗਰਮੀ ਸਾਂਝੀ ਕਰਨ ਵਾਲੇ ਕਾਮਿਆਂ ਵਿੱਚ ਰਫ਼ਤਾਰ ਦਾ ਤਾਲਮੇਲ ਕਰੋ; ਰਾਹ ਬਦਲਦੇ ਰਹਿਣਾ ਉਸ ਨੀਤੀ ਦਾ ਬਦਲ ਨਹੀਂ।

ਆਖ਼ਰ ਵਿੱਚ, robots ਨਿਯਮ ਪਹੁੰਚ-ਅਧਿਕਾਰ ਨਹੀਂ ਹਨ। ਮਨਜ਼ੂਰ ਪਥ ਪ੍ਰਮਾਣਿਕਤਾ ਜਾਂ ਸਾਈਟ ਦੀਆਂ ਹੋਰ ਪਹੁੰਚ-ਲੋੜਾਂ ਨੂੰ ਨਹੀਂ ਟੱਪਦਾ, ਅਤੇ ਜਨਤਕ robots ਫਾਈਲ ਨਿੱਜੀ ਸਮੱਗਰੀ ਨੂੰ ਸੁਰੱਖਿਅਤ ਨਹੀਂ ਕਰਦੀ।