क्या फ़ॉरवर्ड प्रॉक्सी क्रॉलर के लिए robots.txt लागू करता है?

क्रॉलर को HTTP प्रॉक्सी देना बदल देता है कि उसके अनुरोध वेबसाइट तक कैसे पहुँचते हैं। इससे प्रॉक्सी robots.txt नहीं लाएगा, क्रॉलर का नियम-समूह नहीं चुनेगा और उसके अनुरोधों को विनम्रता से निर्धारित नहीं करेगा।

Robots Exclusion Protocol क्रॉलरों के लिए नियम बताता है। इसमें मिलान, प्राप्ति की विफलताएँ, पुनर्निर्देशन और कैश का व्यवहार शामिल है। जो प्रॉक्सी केवल माँगा गया दस्तावेज़ आगे भेजती है, उसने क्रॉलर की ओर से वह नीति लागू नहीं की है।

नियमों का निर्णय क्रॉलर की अनुरोध-पंक्ति के पास रखें। काम भेजने से पहले इच्छित पहचान, लक्ष्य URI और निर्धारण की स्थिति वहीं उपलब्ध होती है।

प्रॉक्सी की ओर फ़िल्टर करना जितना आसान लगता है उतना क्यों नहीं है

सादे HTTP में विशेष रूप से बनाया गया फ़िल्टर लक्ष्य पथ और User-Agent देख सकता है। फिर भी उसे वास्तविक नियम-कार्यान्वयन और लागू robots फ़ाइल को लाने, कैश करने तथा अद्यतन करने की निर्धारित नीति चाहिए। कुछ Disallow पंक्तियों को स्थिर पता-अवरोधों में बदलना पूरा प्रोटोकॉल नहीं है।

साधारण CONNECT के ज़रिए HTTPS में फ़ॉरवर्ड प्रॉक्सी सुरंग का गंतव्य देखती है, हर एन्क्रिप्टेड पृष्ठ का पथ और भीतरी User-Agent नहीं। पथ-स्तर के robots निर्णयों के लिए आवश्यक जानकारी उसके पास नहीं होती, जब तक कोई अन्य सुविचारित व्यवस्था वह न दे।

बाहर जाने वाला पता बदलने से भी प्रतिबंधित पथ अनुमत नहीं बनता। क्रॉलर की गतिविधि साझा करने वाले श्रमिकों के बीच गति का समन्वय करें; मार्ग बदलते रहना उस नीति का विकल्प नहीं है।

अंत में, robots नियम पहुँच-प्राधिकार नहीं हैं। अनुमत पथ प्रमाणीकरण या साइट की अन्य पहुँच-अपेक्षाओं को नहीं टालता, और सार्वजनिक robots फ़ाइल निजी सामग्री को सुरक्षित नहीं करती।