ফৰৱাৰ্ড প্ৰক্সিয়ে ক্ৰলাৰৰ বাবে robots.txt বলবৎ কৰেনে?

ক্ৰলাৰক এটা HTTP প্ৰক্সি দিলে ইয়াৰ অনুৰোধসমূহে ৱেবছাইটত উপনীত হোৱাৰ ধৰণ সলনি হয়। কিন্তু ইয়াৰ দ্বাৰা প্ৰক্সিয়ে robots.txt আনিব, ক্ৰলাৰৰ নিয়ম-গোট বাছনি কৰিব বা অনুৰোধসমূহ ভদ্ৰভাৱে সময়সূচী কৰিব নোৱাৰে।

Robots Exclusion Protocol-এ ক্ৰলাৰৰ বাবে নিয়ম বৰ্ণনা কৰে। ইয়াত মিলোৱা, অনা বিফলতা, পুনৰনিৰ্দেশ আৰু কেশ্বৰ আচৰণ অন্তৰ্ভুক্ত। যি প্ৰক্সিয়ে কেৱল অনুৰোধিত নথিপত্ৰ আগবঢ়াই দিয়ে, সিয়ে ক্ৰলাৰৰ হৈ সেই নীতি ৰূপায়ণ কৰা নাই।

নিয়মৰ সিদ্ধান্ত ক্ৰলাৰৰ অনুৰোধ শাৰীৰ ওচৰতে ৰাখক। কৰ্ম পঠোৱাৰ আগতে উদ্দেশ্য কৰা পৰিচয়, লক্ষ্য URI আৰু সময়সূচীৰ অৱস্থা তাতেই উপলব্ধ।

প্ৰক্সিৰ ফালে ফিল্টাৰ কৰা যিমান সহজ যেন লাগে তাতকৈ কিয় কঠিন

সাধাৰণ HTTP-ৰ বাবে বিশেষভাৱে নিৰ্মিত ফিল্টাৰে লক্ষ্য পথ আৰু User-Agent দেখিব পাৰে। তথাপি ইয়াৰ এটা প্ৰকৃত নিয়ম ৰূপায়ণ আৰু প্ৰযোজ্য robots ফাইল অনা, কেশ্ব কৰা আৰু নৱীকৰণৰ বাবে নিৰ্ধাৰিত নীতি প্ৰয়োজন। কেইটামান Disallow শাৰীক স্থিৰ URL ব্লকত ৰূপান্তৰ কৰা সম্পূৰ্ণ প্ৰট'কল নহয়।

সাধাৰণ CONNECT-ৰ জৰিয়তে HTTPS-ৰ ক্ষেত্ৰত ফৰৱাৰ্ড প্ৰক্সিয়ে টানেলৰ গন্তব্যহে দেখা পায়, প্ৰতিটো এনক্ৰিপ্টেড পৃষ্ঠাৰ পথ আৰু ভিতৰৰ User-Agent নহয়। অন্য এটা সুচিন্তিত ব্যৱস্থাই যোগান ধৰিলে নহ'লে পথ-পৰ্যায়ৰ robots সিদ্ধান্তৰ বাবে প্ৰয়োজনীয় তথ্য ইয়াৰ নাথাকে।

বাহিৰলৈ যোৱা ঠিকনা সলনি কৰিলেও নিষিদ্ধ পথ এটা অনুমোদিত পথ নহয়। ক্ৰলাৰৰ কাৰ্যকলাপ ভাগ কৰা কৰ্মীসকলৰ মাজত গতিৰ সমন্বয় কৰক; পথ ঘূৰাই চলোৱা সেই নীতিৰ বিকল্প নহয়।

শেষত, robots নিয়ম প্ৰৱেশ অনুমতি নহয়। অনুমোদিত পথে প্ৰমাণীকৰণ বা ছাইটৰ অন্য প্ৰৱেশ প্ৰয়োজনীয়তাক অতিক্ৰম নকৰে, আৰু ৰাজহুৱা robots ফাইলে ব্যক্তিগত সমল সুৰক্ষিত নকৰে।