ඉදිරි ප්‍රොක්සියක් crawler සඳහා robots.txt බලාත්මක කරන්නේද?
robots ප්‍රතිපත්තිය crawler තුළම තබාගන්න, සහ ඉදිරි ප්‍රොක්සියක එය බලාත්මක කිරීමේ සීමා තේරුම් ගන්න.
crawler එකකට HTTP ප්‍රොක්සියක් දීම එහි ඉල්ලීම් වෙබ් අඩවියට ළඟා වන ආකාරය වෙනස් කරයි. නමුත් එයින් ප්‍රොක්සිය robots.txt ලබා ගැනීම, crawler හි නීති කණ්ඩායම තෝරා ගැනීම හෝ එහි ඉල්ලීම් ආචාරශීලීව කාලසටහන්ගත කිරීම සිදු නොවේ.
Robots Exclusion Protocol මගින් crawler සඳහා නීති විස්තර කරයි. ගැලපීම, ලබා ගැනීමේ අසාර්ථකතා, නැවත යොමු කිරීම් සහ cache හැසිරීම ඊට ඇතුළත් වේ. ඉල්ලා ඇති ලේඛනය පමණක් ඉදිරියට යවන ප්‍රොක්සියක් crawler වෙනුවෙන් එම ප්‍රතිපත්තිය ක්‍රියාත්මක කර නැත.
නීති තීරණය crawler හි ඉල්ලීම් පෝලිමට ළඟින් තබාගන්න. වැඩ යැවීමට පෙර අපේක්ෂිත අනන්‍යතාව, ඉලක්ක URI සහ කාලසටහන් තත්ත්වය ඇත්තේ එහිය.
ප්‍රොක්සි පැත්තේ පෙරහන සවන් දෙන තරම් පහසු නොවන්නේ ඇයි
සරල HTTP සඳහා විශේෂයෙන් තැනූ පෙරහනකට ඉලක්ක මාර්ගය සහ User-Agent දැකිය හැක. එසේ වුවද එයට සැබෑ නීති ක්‍රියාත්මක කිරීමක් සහ අදාළ robots ගොනුව ලබා ගැනීම, cache කිරීම හා යාවත්කාලීන කිරීම සඳහා නිශ්චිත ප්‍රතිපත්තියක් අවශ්‍ය වේ. Disallow පේළි කිහිපයක් ස්ථිර ලිපින අවහිර කිරීම් බවට පත් කිරීම සම්පූර්ණ ප්‍රොටෝකෝලය නොවේ.
සාමාන්‍ය CONNECT හරහා HTTPS සඳහා ඉදිරි ප්‍රොක්සිය දකින්නේ උමඟේ ගමනාන්තයයි, එනම් සංකේතනය කළ සෑම පිටුවකම මාර්ගය සහ ඇතුළත User-Agent නොවේ. වෙනත් හිතාමතා සකසන ලද විධානයක් එය ලබා නොදෙන්නේ නම්, මාර්ග මට්ටමේ robots තීරණ සඳහා අවශ්‍ය තොරතුරු එයට නැත.
පිටවන ලිපිනය වෙනස් කිරීමද තහනම් මාර්ගයක් අවසර ලත් මාර්ගයක් බවට පත් නොකරයි. crawler හි ක්‍රියාකාරකම් බෙදාගන්නා සේවකයන් අතර වේගය සම්බන්ධීකරණය කරන්න; මාර්ග කැරකැවීම එම ප්‍රතිපත්තියට ප්‍රතිස්ථාන නොවේ.
අවසාන වශයෙන්, robots නීති ප්‍රවේශ අවසරයක් නොවේ. අවසර ලත් මාර්ගයක් සත්‍යාපනය හෝ අඩවියේ අනෙක් ප්‍රවේශ අවශ්‍යතා ඉක්මවා නොයයි, පොදු robots ගොනුවක් පුද්ගලික අන්තර්ගතය ආරක්ෂා නොකරයි.