શું ફોરવર્ડ પ્રોક્સી ક્રોલર માટે robots.txt લાગુ કરે છે?

ક્રોલરને HTTP પ્રોક્સી આપવાથી તેની વિનંતીઓ વેબસાઇટ સુધી પહોંચવાની રીત બદલાય છે. પરંતુ તેનાથી પ્રોક્સી robots.txt લાવશે નહીં, ક્રોલરનો નિયમ-સમૂહ પસંદ કરશે નહીં કે તેની વિનંતીઓને નમ્રતાથી સમયપત્રકબદ્ધ કરશે નહીં.

Robots Exclusion Protocol ક્રોલરો માટે નિયમો વર્ણવે છે. તેમાં મેળ બેસાડવો, લાવવામાં નિષ્ફળતા, પુનઃનિર્દેશન અને કેશનું વર્તન સમાવેશ થાય છે. જે પ્રોક્સી ફક્ત માંગેલ દસ્તાવેજ આગળ મોકલે છે, તેણે ક્રોલર વતી એ નીતિ અમલમાં મૂકી નથી.

નિયમોનો નિર્ણય ક્રોલરની વિનંતી કતારની નજીક રાખો. કામ મોકલતાં પહેલાં ઇચ્છિત ઓળખ, લક્ષ્ય URI અને સમયપત્રકની સ્થિતિ ત્યાં જ ઉપલબ્ધ હોય છે.

પ્રોક્સીની બાજુએ ફિલ્ટર કેમ જણાય તેનાથી વધુ અઘરું છે

સાદા HTTP માટે ખાસ બનાવેલ ફિલ્ટર લક્ષ્ય પથ અને User-Agent જોઈ શકે છે. તોપણ તેને સાચું નિયમ-અમલીકરણ અને લાગુ પડતી robots ફાઇલ લાવવા, કેશ કરવા તથા અદ્યતન કરવાની નિશ્ચિત નીતિની જરૂર પડે છે. થોડી Disallow લાઇનોને સ્થિર સરનામા-બ્લોકમાં ફેરવવું એ સંપૂર્ણ પ્રોટોકોલ નથી.

સાદા CONNECT દ્વારા HTTPSમાં ફોરવર્ડ પ્રોક્સી ટનલનું ગંતવ્ય જુએ છે, દરેક એન્ક્રિપ્ટેડ પૃષ્ઠનો પથ અને અંદરનું User-Agent નહીં. બીજી કોઈ જાણી જોઈને કરેલ ગોઠવણ આપે નહીં તો પથ-સ્તરના robots નિર્ણયો માટે જરૂરી માહિતી તેની પાસે નથી.

બહાર જતું સરનામું બદલવાથી પણ પ્રતિબંધિત પથ માન્ય બનતો નથી. ક્રોલરની પ્રવૃત્તિ વહેંચતા કામદારો વચ્ચે ગતિનું સમન્વયન કરો; માર્ગો ફેરવવા એ તે નીતિનો વિકલ્પ નથી.

છેલ્લે, robots નિયમો પ્રવેશ-અધિકાર નથી. માન્ય પથ પ્રમાણીકરણ કે સાઇટની બીજી પ્રવેશ-જરૂરિયાતોને વટાવતો નથી, અને જાહેર robots ફાઇલ ખાનગી સામગ્રીને સુરક્ષિત કરતી નથી.