ଏକାଧିକ ଡୋମେନରେ Scrapy ପ୍ରକ୍ସି ସମକାଳିକତା

ଯଦି ପ୍ରତ୍ୟେକ ଗନ୍ତବ୍ୟ ଏକ ସମାନ ପ୍ରକ୍ସି ଖାତା ବ୍ୟବହାର କରେ, ସେହି ଖାତାର ସମକାଳିକ ଅନୁରୋଧ ଅନୁମତି ସେହି ସବୁ ଗନ୍ତବ୍ୟରେ ଖର୍ଚ୍ଚ ହୋଇପାରେ। କେବଳ ପ୍ରତି-ଡୋମେନ ସୀମା ସେହି ସହଭାଗୀ ବଜେଟକୁ ପ୍ରକାଶ କରେ ନାହିଁ।

ଅଧିକତମ 20 ସମକାଳିକ ଅନୁରୋଧକୁ ଅନୁମତି ଦେଉଥିବା ଏକ କାଳ୍ପନିକ ଖାତା ପାଇଁ କିଛି ସ୍ଥାନ ଛାଡ଼ି କ୍ରଲରର ବୈଶ୍ୱିକ ଡାଉନଲୋଡର ସୀମା ନିର୍ଧାରଣ କରନ୍ତୁ:

CONCURRENT_REQUESTS = 16

ଏହା ଏକ ଉଦାହରଣମୂଳକ ବଣ୍ଟନ, ପ୍ରତ୍ୟେକ ପ୍ରଦାତା ପାଇଁ ସୁପାରିଶ କରାଯାଇଥିବା ମୂଲ୍ୟ ନୁହେଁ। Scrapy CONCURRENT_REQUESTSକୁ ଡାଉନଲୋଡରର ସର୍ବାଧିକ ସମକାଳିକ ଅନୁରୋଧ ସଂଖ୍ୟା ଭାବରେ ପରିଭାଷିତ କରେ। ପ୍ରତି-ଡୋମେନ ନିୟନ୍ତ୍ରଣ ସମକାଳିକତାକୁ ଆହୁରି କମାଇପାରେ; ମାତ୍ର ବୈଶ୍ୱିକ ଉପର ସୀମାକୁ ବଦଳାଏ ନାହିଁ।

ଅନ୍ୟ କ୍ରଲରମାନଙ୍କୁ ମଧ୍ୟ ଗଣନାରେ ସାମିଲ କରନ୍ତୁ। ଦୁଇଟି ସ୍ୱାଧୀନ କ୍ରଲର, ଯାହାର ପ୍ରତ୍ୟେକକୁ 16 ଅନୁରୋଧର ଅନୁମତି ଅଛି, ମିଶି 20ର ସହଭାଗୀ ଅନୁମତି ଅତିକ୍ରମ କରିପାରେ। ବଜେଟକୁ ଉଦ୍ଦେଶ୍ୟମୂଳକ ଭାବରେ ବିଭକ୍ତ କରନ୍ତୁ କିମ୍ବା ସେହି କ୍ଲାୟଣ୍ଟମାନେ ମିଳୁଥିବା ସ୍ଥାନରେ ସହଭାଗୀ ସୀମା ଲାଗୁ କରନ୍ତୁ।

ପ୍ରଦାତା କଣ ଗଣେ ତାହା ମଧ୍ୟ ନିର୍ଧାରଣ କରନ୍ତୁ। HTTP ଅନୁରୋଧ, ଖୋଲା TCP ସଂଯୋଗ, ସକ୍ରିୟ ଟନେଲ ଏବଂ ପ୍ରତି ସେକେଣ୍ଡ ଅନୁରୋଧ ଭିନ୍ନ ଭିନ୍ନ ପରିମାଣ। ସ୍ଥାୟୀ ସଂଯୋଗ ଏବଂ ମଲ୍ଟିପ୍ଲେକ୍ସିଂ ସେମାନଙ୍କ ଗଣନାକୁ ଅଲଗା କରିପାରେ। ତେଣୁ ଅନୁରୋଧ-ସମକାଳିକତା ସେଟିଂ ସମ୍ପୂର୍ଣ୍ଣ ସଂଯୋଗ କିମ୍ବା ହାର ସୀମିତକାରୀ ନୁହେଁ।

ଲକ୍ଷ୍ୟ ସାଇଟର ଗତିକୁ ଏକ ଅଲଗା ପ୍ରତିବନ୍ଧକ ଭାବରେ ରଖନ୍ତୁ। ପ୍ରକ୍ସି ଖାତାରେ ଅବ୍ୟବହୃତ ସାମର୍ଥ୍ୟ ଥିଲେ ମଧ୍ୟ ଏକ ନିର୍ଦ୍ଦିଷ୍ଟ ଗନ୍ତବ୍ୟ ପାଇଁ କମ୍ ସମକାଳିକତା କିମ୍ବା ଡାଉନଲୋଡ ବିଳମ୍ବ ଉପଯୁକ୍ତ ହୋଇପାରେ।