ବ୍ଲକିଂ ପ୍ରକ୍ସି-ପୁଲ ଲୁକଅପ୍ Scrapy କୁ ଅଟକାଇପାରେ

କ୍ରଲରରେ ଯଥେଷ୍ଟ ସମକାଳୀନ ଅନୁରୋଧ ବିନ୍ୟାସ କରାଯାଇଛି। ତଥାପି ଯେତେବେଳେ ଏହା ପ୍ରକ୍ସି ପୁଲରୁ ଅନ୍ୟ ଠିକଣା ମାଗେ, ସେତେବେଳେ ଅଟକିଯାଏ। ଅଧିକ ପ୍ରକ୍ସି ଯୋଡ଼ିବା ସେହି ଅଟକକୁ ବଦଳାଏ ନାହିଁ।

ଏକ ସାଧାରଣ ମିଡଲୱେର ପ୍ୟାଟର୍ନ requests.get(pool_url) କୁ process_request() ଭିତରେ କଲ କରେ। ଏହା ଏପରି ଏକ ପଥରେ ସିଙ୍କ୍ରୋନସ ନେଟୱର୍କ କାର୍ଯ୍ୟ ଯାହା Scrapy ର ଅସିଙ୍କ୍ରୋନସ ଇଞ୍ଜିନ ସହ ସହଯୋଗ କରିବା ଆଶା କରାଯାଏ। କଲ ଅପେକ୍ଷା କରୁଥିବାବେଳେ ଏହା ସେହି ଘଟଣା-ଲୁପ ଥ୍ରେଡରେ ଅସମ୍ପୃକ୍ତ କାର୍ଯ୍ୟକୁ ଅଟକାଇପାରେ।

କାର୍ଯ୍ୟରେ ଦୁଇଟି ଅନୁରୋଧ ଅଛି

ଗୋଟିଏ ଅନୁରୋଧ ପୁଲ ସେବାରୁ ଏକ ଏଣ୍ଡପଏଣ୍ଟ ପାଏ। ଅନ୍ୟଟି ସେହି ଏଣ୍ଡପଏଣ୍ଟ ବ୍ୟବହାର କରି ଗନ୍ତବ୍ୟ ସହ ସମ୍ପର୍କ କରେ। ଦୁଇଟିକୁ ଅଲଗା ଭାବରେ ମାପନ୍ତୁ ଏବଂ ରିପୋର୍ଟ କରନ୍ତୁ। ମନ୍ଥର ପୁଲ API ଆପ୍ଲିକେସନ ସଂଯୁକ୍ତ ହେବା ପୂର୍ବରୁ ପ୍ରତ୍ୟେକ ଚୟନିତ ପ୍ରକ୍ସିକୁ ମନ୍ଥର ଦେଖାଇପାରେ।

ସ୍ଥାପିତ Scrapy ସଂସ୍କରଣ ଦ୍ୱାରା ସମର୍ଥିତ ଅସିଙ୍କ୍ରୋନସ ଆବିଷ୍କାର ସଂହତି ବ୍ୟବହାର କରନ୍ତୁ, କିମ୍ବା ପ୍ରତ୍ୟେକ ଅନୁରୋଧର ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ ପଥ ବାହାରେ ସୀମିତ ସ୍ଥାନୀୟ ଏଣ୍ଡପଏଣ୍ଟ ସେଟ ପ୍ରାପ୍ତ କରି ସତେଜ ରଖନ୍ତୁ। ଯଦି ବ୍ଲକିଂ କାର୍ଯ୍ୟ ସ୍ଥାନାନ୍ତର କରିବାକୁ ପଡ଼େ, ସେହି ଏକ୍ଜିକ୍ୟୁଟରକୁ ଏହାର ନିଜସ୍ୱ ସୀମା ଏବଂ ସମୟସୀମା ପରିଚାଳନା ଦିଅନ୍ତୁ; ଅସୀମିତ ଧାଡ଼ି କେବଳ ବିଳମ୍ବର ସ୍ଥାନ ବଦଳାଏ।

ପ୍ରତ୍ୟେକ ଅନୁରୋଧ ପାଇଁ ସ୍ୱୟଂଚାଳିତ ଭାବରେ ଆଉ ଏକ ଆବିଷ୍କାର କଲ କରନ୍ତୁ ନାହିଁ। ସ୍ୱଳ୍ପକାଳୀନ କ୍ୟାସ କିମ୍ବା ଲିଜ୍ ନିଆଯାଇଥିବା ବ୍ୟାଚ ସେବାର ପ୍ରକୃତ ଏଣ୍ଡପଏଣ୍ଟ ନୀତି ସହ ମେଳ ଖାଉଥିଲେ ପୁଲ ସେବା ଉପରେ ନିର୍ଭରତା କମାଇପାରେ।

ବିଫଳ ଲୁକଅପର ଅର୍ଥ ନିର୍ଧାରଣ କରନ୍ତୁ

ଖାଲି କିମ୍ବା ବିଫଳ ପୁଲ ପ୍ରତିକ୍ରିୟା ପ୍ରକ୍ସି ମେଟାଡାଟା ଚୁପଚାପ ହଟାଇ ସିଧା ଅନୁରୋଧକୁ ଅନୁମତି ଦେବା ଉଚିତ ନୁହେଁ। ସ୍ପଷ୍ଟ ଫଳାଫଳ ବାଛନ୍ତୁ: କାର୍ଯ୍ୟର ବଜେଟ ଭିତରେ ଅପେକ୍ଷା କରିବା, ବିଫଳ ହେବା, କିମ୍ବା ଅନୁମୋଦିତ କ୍ୟାସ କରାଯାଇଥିବା ଏଣ୍ଡପଏଣ୍ଟ ବ୍ୟବହାର କରିବା।

ପୁଲ API ର ନିଜସ୍ୱ ପଥକୁ ମଧ୍ୟ ଖୋଲା ରଖନ୍ତୁ। ଯଦି ଏହା ଏକ ଆଭ୍ୟନ୍ତରୀଣ ସେବା, ଏହାର ବ୍ୟକ୍ତିଗତ ହୋଷ୍ଟନାମକୁ ଏହାକୁ ଚୟନ କରିବାରେ ସାହାଯ୍ୟ କରୁଥିବା ସେହି ପ୍ରକ୍ସି ମାଧ୍ୟମରେ ପଠାଇବା ଏକ ଚକ୍ରୀୟ ନିର୍ଭରତା ସୃଷ୍ଟି କରିପାରେ।

ଆବିଷ୍କାର ଅସମ୍ପୃକ୍ତ କାର୍ଯ୍ୟକୁ ଅଟକାଇ ନଥାଇ କାର୍ଯ୍ୟ କଲାପରେ ସାଧାରଣ ପ୍ରକ୍ସି କାରବାର ପରୀକ୍ଷା କରନ୍ତୁ। ସେଗୁଡ଼ିକ ଅଲଗା ମରାମତି, ଏବଂ ସେମାନଙ୍କ ସମୟ ଲଗରେ ଅଲଗା କ୍ଷେତ୍ର ପାଇବାର ଯୋଗ୍ୟ।