ফরওয়ার্ড প্রক্সি কি ক্রলারের জন্য robots.txt প্রয়োগ করে?

একটি ক্রলারকে HTTP প্রক্সি দিলে ওয়েবসাইটে তার অনুরোধ পৌঁছানোর ধরন বদলে যায়। কিন্তু এতে প্রক্সি robots.txt আনবে, ক্রলারের নিয়ম-গোষ্ঠী বেছে নেবে বা তার অনুরোধ বিনয়ের সঙ্গে সময়সূচিবদ্ধ করবে না।

Robots Exclusion Protocol ক্রলারদের জন্য নিয়ম বর্ণনা করে। এতে মিলকরণ, আনয়নে ব্যর্থতা, পুনর্নির্দেশ এবং ক্যাশের আচরণ অন্তর্ভুক্ত। যে প্রক্সি কেবল অনুরোধ করা নথিটি পাঠিয়ে দেয়, সে ক্রলারের পক্ষে ওই নীতি বাস্তবায়ন করেনি।

নিয়মের সিদ্ধান্ত ক্রলারের অনুরোধ সারির কাছেই রাখুন। কাজ পাঠানোর আগে অভীষ্ট পরিচয়, লক্ষ্য URI ও সময়সূচির অবস্থা সেখানেই পাওয়া যায়।

প্রক্সির দিকে ফিল্টার করা যত সহজ শোনায় তত নয় কেন

সাধারণ HTTP-তে বিশেষভাবে তৈরি ফিল্টার লক্ষ্য পথ ও User-Agent দেখতে পারে। তবুও এর প্রকৃত নিয়ম বাস্তবায়ন এবং প্রযোজ্য robots ফাইল আনা, ক্যাশ করা ও হালনাগাদ করার নির্দিষ্ট নীতি দরকার। কয়েকটি Disallow লাইনকে স্থির ঠিকানা-ব্লকে বদলে দেওয়া সম্পূর্ণ প্রোটোকল নয়।

সাধারণ CONNECT দিয়ে HTTPS-এর ক্ষেত্রে ফরওয়ার্ড প্রক্সি টানেলের গন্তব্য দেখে, প্রতিটি এনক্রিপ্ট করা পৃষ্ঠার পথ ও ভেতরের User-Agent নয়। অন্য কোনো সচেতন ব্যবস্থা সরবরাহ না করলে পথ-স্তরের robots সিদ্ধান্তের প্রয়োজনীয় তথ্য এর কাছে নেই।

বহির্গামী ঠিকানা বদলালেও নিষিদ্ধ পথ অনুমোদিত হয় না। ক্রলারের কাজ ভাগ করা শ্রমিকদের মধ্যে গতির সমন্বয় করুন; পথ ঘুরিয়ে চালানো ওই নীতির বিকল্প নয়।

শেষে, robots নিয়ম প্রবেশাধিকার নয়। অনুমোদিত পথ প্রমাণীকরণ বা সাইটের অন্য প্রবেশ-শর্তকে অতিক্রম করে না, আর সর্বজনীন robots ফাইল ব্যক্তিগত বিষয়বস্তু সুরক্ষিত করে না।