फर्वार्ड प्रोक्सीले क्रलरका लागि robots.txt लागू गर्छ?

क्रलरलाई HTTP प्रोक्सी दिनुले उसका अनुरोधहरू वेबसाइटसम्म पुग्ने तरिका बदल्छ। तर यसले प्रोक्सीलाई robots.txt ल्याउन, क्रलरको नियम-समूह छान्न वा उसका अनुरोधहरू शिष्टतापूर्वक तालिकाबद्ध गर्न लगाउँदैन।

Robots Exclusion Protocol ले क्रलरहरूका लागि नियम बताउँछ। यसमा मिलान, ल्याउने असफलता, पुनर्निर्देशन र क्यासको व्यवहार समावेश छ। जुन प्रोक्सीले मागिएको कागजात मात्र अगाडि पठाउँछ, उसले क्रलरको तर्फबाट त्यो नीति लागू गरेको छैन।

नियमको निर्णय क्रलरको अनुरोध-लामो नजिक राख्नुहोस्। काम पठाउनुअघि अभिप्रेत परिचय, लक्ष्य URI र तालिकाको स्थिति त्यहीँ उपलब्ध हुन्छ।

प्रोक्सीको छेउमा फिल्टर गर्न सुन्दा जति सजिलो छ त्यति किन होइन

साधारण HTTP का लागि विशेष रूपमा बनाइएको फिल्टरले लक्ष्य मार्ग र User-Agent देख्न सक्छ। तैपनि उसलाई वास्तविक नियम-कार्यान्वयन र लागू हुने robots फाइल ल्याउने, क्यास गर्ने तथा अद्यावधिक गर्ने निश्चित नीति चाहिन्छ। केही Disallow हरफलाई स्थिर ठेगाना-अवरोधमा बदल्नु पूरा प्रोटोकल होइन।

साधारण CONNECT मार्फत HTTPS मा फर्वार्ड प्रोक्सीले सुरुङको गन्तव्य देख्छ, हरेक इन्क्रिप्टेड पृष्ठको मार्ग र भित्री User-Agent देख्दैन। अर्को सुविचारित व्यवस्थाले दिएन भने मार्ग-स्तरका robots निर्णयका लागि चाहिने जानकारी उससँग हुँदैन।

बाहिर जाने ठेगाना बदल्नाले पनि निषेधित मार्ग अनुमत बन्दैन। क्रलरको गतिविधि साझा गर्ने कामदारहरूबीच गतिको समन्वय गर्नुहोस्; मार्ग घुमाइरहनु त्यो नीतिको विकल्प होइन।

अन्तमा, robots नियम पहुँच-अधिकार होइनन्। अनुमत मार्गले प्रमाणीकरण वा साइटका अन्य पहुँच-आवश्यकतालाई पन्छाउँदैन, र सार्वजनिक robots फाइलले निजी सामग्री सुरक्षित गर्दैन।