ಫಾರ್ವರ್ಡ್ ಪ್ರಾಕ್ಸಿ ಕ್ರಾಲರ್ಗಾಗಿ robots.txt ಜಾರಿಗೊಳಿಸುತ್ತದೆಯೇ?

ಕ್ರಾಲರ್ಗೆ HTTP ಪ್ರಾಕ್ಸಿ ನೀಡುವುದು ಅದರ ವಿನಂತಿಗಳು ಜಾಲತಾಣವನ್ನು ತಲುಪುವ ರೀತಿಯನ್ನು ಬದಲಾಯಿಸುತ್ತದೆ. ಆದರೆ ಅದು ಪ್ರಾಕ್ಸಿ robots.txt ತರುವಂತೆ, ಕ್ರಾಲರ್ನ ನಿಯಮ-ಗುಂಪನ್ನು ಆಯ್ಕೆ ಮಾಡುವಂತೆ ಅಥವಾ ಅದರ ವಿನಂತಿಗಳನ್ನು ವಿನಯದಿಂದ ನಿಗದಿಪಡಿಸುವಂತೆ ಮಾಡುವುದಿಲ್ಲ.

Robots Exclusion Protocol ಕ್ರಾಲರ್ಗಳಿಗೆ ನಿಯಮಗಳನ್ನು ವಿವರಿಸುತ್ತದೆ. ಅದು ಹೊಂದಾಣಿಕೆ, ತರುವಿಕೆಯ ವೈಫಲ್ಯಗಳು, ಮರುನಿರ್ದೇಶನಗಳು ಮತ್ತು ಕ್ಯಾಶ್ ವರ್ತನೆಯನ್ನು ಒಳಗೊಂಡಿದೆ. ಕೇವಲ ಕೋರಿದ ದಾಖಲೆಯನ್ನು ಮುಂದಕ್ಕೆ ಕಳುಹಿಸುವ ಪ್ರಾಕ್ಸಿ ಕ್ರಾಲರ ಪರವಾಗಿ ಆ ನೀತಿಯನ್ನು ಜಾರಿಗೊಳಿಸಿಲ್ಲ.

ನಿಯಮಗಳ ನಿರ್ಧಾರವನ್ನು ಕ್ರಾಲರ್ನ ವಿನಂತಿ ಸಾಲಿನ ಹತ್ತಿರ ಇರಿಸಿ. ಕೆಲಸ ಕಳುಹಿಸುವ ಮೊದಲು ಉದ್ದೇಶಿತ ಗುರುತು, ಗುರಿ URI ಮತ್ತು ನಿಗದೀಕರಣ ಸ್ಥಿತಿ ಅಲ್ಲಿಯೇ ಲಭ್ಯವಿರುತ್ತದೆ.

ಪ್ರಾಕ್ಸಿ ಬದಿಯಲ್ಲಿ ಫಿಲ್ಟರ್ ಮಾಡುವುದು ಕೇಳುವಷ್ಟು ಸುಲಭವಲ್ಲ ಏಕೆ

ಸಾಮಾನ್ಯ HTTPಗೆ ವಿಶೇಷವಾಗಿ ನಿರ್ಮಿಸಿದ ಫಿಲ್ಟರ್ ಗುರಿ ಮಾರ್ಗ ಮತ್ತು User-Agent ಅನ್ನು ನೋಡಬಹುದು. ಆದರೂ ಅದಕ್ಕೆ ನಿಜವಾದ ನಿಯಮ ಅನುಷ್ಠಾನ ಮತ್ತು ಅನ್ವಯವಾಗುವ robots ಕಡತವನ್ನು ತರುವ, ಕ್ಯಾಶ್ ಮಾಡುವ ಹಾಗೂ ನವೀಕರಿಸುವ ನಿರ್ದಿಷ್ಟ ನೀತಿ ಬೇಕು. ಕೆಲವು Disallow ಸಾಲುಗಳನ್ನು ಸ್ಥಿರ ವಿಳಾಸ ಬ್ಲಾಕ್ಗಳಾಗಿ ಪರಿವರ್ತಿಸುವುದು ಪೂರ್ಣ ಪ್ರೋಟೋಕಾಲ್ ಅಲ್ಲ.

ಸಾಮಾನ್ಯ CONNECT ಮೂಲಕ HTTPSನಲ್ಲಿ ಫಾರ್ವರ್ಡ್ ಪ್ರಾಕ್ಸಿ ಸುರಂಗದ ಗಮ್ಯಸ್ಥಾನವನ್ನು ನೋಡುತ್ತದೆ, ಪ್ರತಿ ಎನ್ಕ್ರಿಪ್ಟ್ ಪುಟದ ಮಾರ್ಗ ಮತ್ತು ಒಳಗಿನ User-Agent ಅನ್ನು ಅಲ್ಲ. ಇನ್ನೊಂದು ಉದ್ದೇಶಿತ ವ್ಯವಸ್ಥೆ ಒದಗಿಸದ ಹೊರತು ಮಾರ್ಗ-ಮಟ್ಟದ robots ನಿರ್ಧಾರಗಳಿಗೆ ಬೇಕಾದ ಮಾಹಿತಿ ಅದರಲ್ಲಿಲ್ಲ.

ಹೊರಹೋಗುವ ವಿಳಾಸ ಬದಲಿಸುವುದೂ ನಿಷೇಧಿತ ಮಾರ್ಗವನ್ನು ಅನುಮತಿಸಿದ ಮಾರ್ಗವನ್ನಾಗಿ ಮಾಡುವುದಿಲ್ಲ. ಕ್ರಾಲರ್ನ ಚಟುವಟಿಕೆಯನ್ನು ಹಂಚಿಕೊಳ್ಳುವ ಕೆಲಸಗಾರರ ನಡುವೆ ವೇಗವನ್ನು ಸಮನ್ವಯಗೊಳಿಸಿ; ಮಾರ್ಗಗಳನ್ನು ತಿರುಗಿಸುವುದು ಆ ನೀತಿಗೆ ಪರ್ಯಾಯವಲ್ಲ.

ಕೊನೆಯದಾಗಿ, robots ನಿಯಮಗಳು ಪ್ರವೇಶ ಅಧಿಕಾರವಲ್ಲ. ಅನುಮತಿಸಿದ ಮಾರ್ಗವು ದೃಢೀಕರಣ ಅಥವಾ ಸೈಟ್ನ ಇತರ ಪ್ರವೇಶ ಅಗತ್ಯಗಳನ್ನು ಮೀರಿಸುವುದಿಲ್ಲ, ಮತ್ತು ಸಾರ್ವಜನಿಕ robots ಕಡತವು ಖಾಸಗಿ ವಿಷಯವನ್ನು ಸುರಕ್ಷಿತಗೊಳಿಸುವುದಿಲ್ಲ.