ଏକ ଫରୱାର୍ଡ ପ୍ରକ୍ସି କ୍ରଲର ପାଇଁ robots.txt ଲାଗୁ କରେ କି?

କ୍ରଲରକୁ HTTP ପ୍ରକ୍ସି ଦେବା ଦ୍ୱାରା ଏହାର ଅନୁରୋଧ ଗୁଡ଼ିକ ୱେବସାଇଟକୁ ପହଞ୍ଚିବା ଢଙ୍ଗ ବଦଳେ। କିନ୍ତୁ ଏହା ଦ୍ୱାରା ପ୍ରକ୍ସି robots.txt ଆଣିବ ନାହିଁ, କ୍ରଲରର ନିୟମ-ଗୋଷ୍ଠୀ ବାଛିବ ନାହିଁ କିମ୍ବା ଏହାର ଅନୁରୋଧକୁ ଭଦ୍ରତାର ସହ ସମୟସୂଚୀବଦ୍ଧ କରିବ ନାହିଁ।

Robots Exclusion Protocol କ୍ରଲରମାନଙ୍କ ପାଇଁ ନିୟମ ବର୍ଣ୍ଣନା କରେ। ଏଥିରେ ମେଳ କରିବା, ଆଣିବାରେ ବିଫଳତା, ପୁନଃନିର୍ଦ୍ଦେଶନ ଏବଂ କ୍ୟାସର ଆଚରଣ ସାମିଲ ଅଛି। ଯେଉଁ ପ୍ରକ୍ସି କେବଳ ଅନୁରୋଧିତ ଦଲିଲ ଆଗକୁ ପଠାଏ, ସେ କ୍ରଲର ପକ୍ଷରୁ ସେହି ନୀତି ଲାଗୁ କରିନାହିଁ।

ନିୟମର ନିଷ୍ପତ୍ତିକୁ କ୍ରଲରର ଅନୁରୋଧ ଧାଡ଼ି ନିକଟରେ ରଖନ୍ତୁ। କାମ ପଠାଇବା ପୂର୍ବରୁ ଉଦ୍ଦିଷ୍ଟ ପରିଚୟ, ଲକ୍ଷ୍ୟ URI ଏବଂ ସମୟସୂଚୀର ସ୍ଥିତି ସେଠାରେ ଉପଲବ୍ଧ।

ପ୍ରକ୍ସି ପାଖରେ ଫିଲ୍ଟର କରିବା ଶୁଣିବାଠାରୁ ଅଧିକ କଠିନ କାହିଁକି

ସାଧାରଣ HTTP ପାଇଁ ବିଶେଷ ଭାବେ ତିଆରି ଫିଲ୍ଟର ଲକ୍ଷ୍ୟ ପଥ ଏବଂ User-Agent ଦେଖିପାରେ। ତଥାପି ଏହାକୁ ପ୍ରକୃତ ନିୟମ କାର୍ଯ୍ୟାନ୍ୱୟନ ଏବଂ ପ୍ରଯୁଜ୍ୟ robots ଫାଇଲ ଆଣିବା, କ୍ୟାସ କରିବା ଓ ଅଦ୍ୟତନ କରିବା ପାଇଁ ନିର୍ଦ୍ଦିଷ୍ଟ ନୀତି ଦରକାର। କେତେକ Disallow ଧାଡ଼ିକୁ ସ୍ଥିର ଠିକଣା ଅବରୋଧରେ ପରିଣତ କରିବା ସମ୍ପୂର୍ଣ୍ଣ ପ୍ରୋଟୋକଲ ନୁହେଁ।

ସାଧାରଣ CONNECT ମାଧ୍ୟମରେ HTTPS ପାଇଁ ଫରୱାର୍ଡ ପ୍ରକ୍ସି ସୁଡ଼ଙ୍ଗର ଗନ୍ତବ୍ୟ ସ୍ଥାନ ଦେଖେ, ପ୍ରତ୍ୟେକ ଏନକ୍ରିପ୍ଟେଡ ପୃଷ୍ଠାର ପଥ ଏବଂ ଭିତରର User-Agent ନୁହେଁ। ଅନ୍ୟ କୌଣସି ସୁଚିନ୍ତିତ ବ୍ୟବସ୍ଥା ନଦେଲେ ପଥ-ସ୍ତରର robots ନିଷ୍ପତ୍ତି ପାଇଁ ଆବଶ୍ୟକ ସୂଚନା ଏହା ପାଖରେ ନାହିଁ।

ବାହାରକୁ ଯାଉଥିବା ଠିକଣା ବଦଳାଇଲେ ମଧ୍ୟ ନିଷିଦ୍ଧ ପଥ ଅନୁମତିପ୍ରାପ୍ତ ହୁଏ ନାହିଁ। କ୍ରଲରର କାର୍ଯ୍ୟକଳାପ ବାଣ୍ଟୁଥିବା ଶ୍ରମିକମାନଙ୍କ ମଧ୍ୟରେ ଗତିର ସମନ୍ୱୟ କରନ୍ତୁ; ପଥ ଘୂରାଇବା ସେହି ନୀତିର ବିକଳ୍ପ ନୁହେଁ।

ଶେଷରେ, robots ନିୟମ ପ୍ରବେଶ ଅଧିକାର ନୁହେଁ। ଅନୁମତିପ୍ରାପ୍ତ ପଥ ପ୍ରମାଣୀକରଣ କିମ୍ବା ସାଇଟର ଅନ୍ୟ ପ୍ରବେଶ ଆବଶ୍ୟକତାକୁ ଅତିକ୍ରମ କରେ ନାହିଁ, ଏବଂ ସାର୍ବଜନୀନ robots ଫାଇଲ ବ୍ୟକ୍ତିଗତ ବିଷୟବସ୍ତୁ ସୁରକ୍ଷିତ କରେ ନାହିଁ।