फॉरवर्ड प्रॉक्सी क्रॉलरसाठी robots.txt लागू करते का?

क्रॉलरला HTTP प्रॉक्सी देणे त्याच्या विनंत्या वेबसाइटपर्यंत पोहोचण्याची पद्धत बदलते. पण त्यामुळे प्रॉक्सी robots.txt आणणार नाही, क्रॉलरचा नियम-गट निवडणार नाही किंवा त्याच्या विनंत्या नम्रपणे नियोजित करणार नाही.

Robots Exclusion Protocol क्रॉलरसाठी नियम सांगते. त्यात जुळणी, आणण्यातील अपयश, पुनर्निर्देशन आणि कॅशेचे वर्तन समाविष्ट आहे. फक्त मागितलेला दस्तऐवज पुढे पाठवणारी प्रॉक्सी क्रॉलरच्या वतीने ते धोरण राबवत नाही.

नियमांचा निर्णय क्रॉलरच्या विनंती-रांगेजवळ ठेवा. काम पाठवण्यापूर्वी इच्छित ओळख, लक्ष्य URI आणि नियोजनाची स्थिती तिथेच उपलब्ध असते.

प्रॉक्सीच्या बाजूला फिल्टर करणे ऐकायला वाटते तितके सोपे का नाही

साध्या HTTPसाठी खास बनवलेला फिल्टर लक्ष्य मार्ग आणि User-Agent पाहू शकतो. तरीही त्याला खरे नियम-अंमलबजावणी आणि लागू robots फाइल आणणे, कॅशे करणे व अद्ययावत करण्याचे निश्चित धोरण लागते. काही Disallow ओळी स्थिर पत्ता-अडवणुकीत बदलणे हा संपूर्ण प्रोटोकॉल नाही.

साध्या CONNECTमधून HTTPS चालताना फॉरवर्ड प्रॉक्सी बोगद्याचे गंतव्य पाहते, प्रत्येक एन्क्रिप्टेड पानाचा मार्ग आणि आतील User-Agent नाही. दुसरी जाणीवपूर्वक केलेली व्यवस्था देत नाही तोपर्यंत मार्ग-स्तरावरील robots निर्णयांसाठी लागणारी माहिती तिच्याकडे नसते.

बाहेर जाणारा पत्ता बदलल्यानेही बंदी असलेला मार्ग मंजूर होत नाही. क्रॉलरचे कार्य सामायिक करणाऱ्या कामगारांमध्ये गतीचा समन्वय करा; मार्ग फिरवणे त्या धोरणाला पर्याय नाही.

शेवटी, robots नियम प्रवेश-अधिकार नाहीत. मंजूर मार्ग प्रमाणीकरण किंवा साइटच्या इतर प्रवेश-अटींना मागे टाकत नाही, आणि सार्वजनिक robots फाइल खाजगी सामग्री सुरक्षित करत नाही.