Scrapy ପ୍ରକ୍ସି ମିଡଲୱେର: Request ଏବଂ None ର ରିଟର୍ଣ୍ଣ ମୂଲ୍ୟ

ଲଗରେ ପ୍ରକ୍ସି ଠିକଣା ବଦଳେ। ଲକ୍ଷ୍ୟସ୍ଥଳ ପ୍ରକ୍ସିର ଆକ୍ସେସ୍ ଲଗରେ କେବେ ଦେଖାଯାଏ ନାହିଁ। ଆପଣଙ୍କ ମିଡଲୱେର ଅନୁରୋଧକୁ ଡାଉନଲୋଡର୍ ପର୍ଯ୍ୟନ୍ତ ଯିବାକୁ ଦେଉଛି କି ନାହିଁ ଯାଞ୍ଚ କରନ୍ତୁ।

Scrapy ର ଡାଉନଲୋଡର୍ ମିଡଲୱେରରେ Request ଫେରାଇବା ଅର୍ଥ ସେହି ଅନୁରୋଧକୁ ପୁନଃ ଶେଡ୍ୟୁଲ କରିବା। ଏହାର ଅର୍ଥ “ମୁଁ ଏବେ ବଦଳାଇଥିବା ମେଟାଡାଟା ସହିତ ଏହି ବସ୍ତୁ ପଠାଇବା ଜାରି ରଖ” ନୁହେଁ।

କେବଳ ଏକ ପଥ ବାଛୁଥିବା ସିଲେକ୍ଟର ପାଇଁ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ ରୂପ ହେଉଛି:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

ଏହି ଅଂଶ ବର୍ତ୍ତମାନର ହୁକ୍ ରୂପ ଦେଖାଏ; ସ୍ଥାପିତ Scrapy ସଂସ୍କରଣ ସମର୍ଥିତ ମିଡଲୱେର ଇଣ୍ଟରଫେସ ବ୍ୟବହାର କରନ୍ତୁ। ସିଲେକ୍ଟର ଏକ ବୈଧ ଏଣ୍ଡପଏଣ୍ଟ ଫେରାଇବ ଏବଂ ଅନୁପଲବ୍ଧ ପୁଲକୁ ସ୍ପଷ୍ଟ ଭାବରେ ସମ୍ଭାଳିବ। ସାର୍ବଜନୀନ ମଧ୍ୟସ୍ଥମାନଙ୍କୁ ଅନୁମତି ଦେଉଥିବା ସାର୍ବଜନୀନ କ୍ରଲ୍ ସେହି ରିଟର୍ଣ୍ଣ ମୂଲ୍ୟ ପାଇଁ HTTP ପ୍ରକ୍ସି ତାଲିକାରୁ HTTP ପ୍ରାର୍ଥୀ ସଂଗ୍ରହ କରିପାରିବ।

None ଫେରାଇବା ବାକି ଅନୁରୋଧ ମିଡଲୱେର ଏବଂ ଡାଉନଲୋଡର୍କୁ ଆଗକୁ ଯିବାକୁ ଦେଇଥାଏ। ଅନ୍ୟ ଏକ Request ଫେରାଇବା ସେତେବେଳେ ଉପଯୋଗୀ ଯେତେବେଳେ ଆପଣ ଜାଣିଶୁଣି କାର୍ଯ୍ୟ ବଦଳାନ୍ତି କିମ୍ବା ପୁନଃ ଚେଷ୍ଟା କରନ୍ତି, କିନ୍ତୁ ଏହାକୁ କାରଣ ଓ ପ୍ରସ୍ଥାନ ଶର୍ତ୍ତ ଦରକାର।

ପ୍ରତ୍ୟେକ ଥର ସେହି ଅନୁରୋଧ ଫେରାଉଥିବା ରୋଟେଟର କେବେ ଲକ୍ଷ୍ୟ ସହିତ ସଂଯୋଗ ନକରି ନିଜର ଚୟନ କୋଡ୍ ବାରମ୍ବାର ଚଲାଇପାରେ। ଟାଇମଆଉଟ୍ ବଢ଼ାଇବା କିମ୍ବା ଅଧିକ ପ୍ରକ୍ସି ପୋର୍ଟ ଖୋଲିବା ସେହି ନିୟନ୍ତ୍ରଣ-ପ୍ରବାହ ଲୁପ୍ ସୁଧାରିପାରିବ ନାହିଁ।

ମିଡଲୱେର ପ୍ରବେଶ, ରିଟର୍ଣ୍ଣ ଆଚରଣ ଏବଂ ପ୍ରଥମ ପ୍ରକୃତ ନେଟୱାର୍କ ପ୍ରୟାସକୁ ଅଲଗା ଘଟଣା ଭାବରେ ଯାଞ୍ଚ କରନ୍ତୁ। “ପ୍ରକ୍ସି ଚୟନ ହେଲା” କହୁଥିବା ଲଗ୍ ଧାଡ଼ି କେବଳ ସିଲେକ୍ଟର ଚାଲିଥିବା ପ୍ରମାଣ କରେ। ଚୟନିତ ଏଣ୍ଡପଏଣ୍ଟ ସହିତ ଅନୁରୋଧ ପଠାଯାଇଥିବା ପ୍ରମାଣ କରେ ନାହିଁ।