Scrapy ର HTTP ପ୍ରକ୍ସି ମିଡଲୱେୟାର ସହିତ ପ୍ରତି ଅନୁରୋଧ ପାଇଁ ପ୍ରକ୍ସି

Scrapy ର HTTP ପ୍ରକ୍ସି ମିଡଲୱେୟାର ଅନୁରୋଧ ମେଟାଡାଟାରୁ ପ୍ରକ୍ସି ପଢ଼େ:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

ଡକ୍ୟୁମେଣ୍ଟେସନର ଏଣ୍ଡପଏଣ୍ଟ ବଦଳାନ୍ତୁ ଏବଂ ମିଡଲୱେୟାର ସକ୍ରିୟ ରଖନ୍ତୁ। HTTP ପ୍ରକ୍ସି ତାଲିକା ଏହି ଅନୁରୋଧ URL ପାଇଁ ସାର୍ବଜନୀନ ପ୍ରାର୍ଥୀ ପ୍ରଦାନ କରେ। ଏହା ଅନୁରୋଧର ପଥ ଚୟନ କରେ; ପ୍ରକ୍ସି ପୁଲ ପାଇଁ ପୃଥକ ଚୟନ ତର୍କ ଆବଶ୍ୟକ।

ପ୍ରମାଣୀକରଣ ଚୟନିତ ଏଣ୍ଡପଏଣ୍ଟକୁ ଅନୁସରଣ କରେ

ଅନ୍ତର୍ନିହିତ ମିଡଲୱେୟାର ଏହାର ସମର୍ଥିତ ପ୍ରକ୍ସି URL ଏବଂ ସମ୍ବନ୍ଧିତ ଅନୁମୋଦନ ହେଡର ମାଧ୍ୟମରେ ପ୍ରଦାନ କରାଯାଇଥିବା ପ୍ରମାଣପତ୍ର ପରିଚାଳନା କରେ। ସଂରକ୍ଷିତ URL ଅକ୍ଷର escape କରନ୍ତୁ ଏବଂ ସେହି URL ଲଗ କରିବା ଏଡ଼ାନ୍ତୁ।

ଏଣ୍ଡପଏଣ୍ଟ ବଦଳିବା ପରେ ପୃଥକ ମିଡଲୱେୟାର ପୂର୍ବ ପ୍ରକ୍ସି ପାଇଁ Basic ହେଡର ରଖିବା ଉଚିତ ନୁହେଁ। ଗୋଟିଏ ସ୍ତର ପଥ ଏବଂ ଏହାର ପ୍ରମାଣପତ୍ର ଏକାଠି ପରିଚାଳନା କରୁ।

ଚୟନ କ୍ରମ ଏବଂ ଡିଫଲ୍ଟ

ଯଦି କଷ୍ଟମ ଡାଉନଲୋଡର ମିଡଲୱେୟାର ପ୍ରକ୍ସି ଚୟନ କରେ, ଅନ୍ତର୍ନିହିତ ପ୍ରକ୍ସି ମିଡଲୱେୟାର ଅନୁରୋଧ ପ୍ରକ୍ରିୟା କରିବା ପୂର୍ବରୁ ଏହାକୁ ଚଲାନ୍ତୁ। ସ୍ଥାପିତ ସଂସ୍କରଣର କ୍ରମ ଏବଂ API ଯାଞ୍ଚ କରନ୍ତୁ; ଅପ୍ରଚଳିତ scrapy.contrib ଆମଦାନୀ ପୁରୁଣା ସଂସ୍କରଣର।

ପ୍ରକ୍ରିୟା ପରିବେଶ ସ୍କିମ୍-ନିର୍ଦ୍ଦିଷ୍ଟ ଡିଫଲ୍ଟ ମଧ୍ୟ ପ୍ରଦାନ କରିପାରେ। ଉଦ୍ଦେଶ୍ୟମୂଳକ ସିଧା ଅନୁରୋଧ ପାଇଁ ଡକ୍ୟୁମେଣ୍ଟେଡ୍ ବିଶେଷ proxy ମେଟାଡାଟା ଆଚରଣ ବ୍ୟବହାର କରନ୍ତୁ: ଅନୁପସ୍ଥିତ କୀ ସର୍ବଦା ସିଧା ପ୍ରବେଶ ଅର୍ଥ ନୁହେଁ।

ପ୍ରକୃତ ଫଳାଫଳ ଯାଞ୍ଚ କରନ୍ତୁ। 407 ପ୍ରକ୍ସି ପ୍ରମାଣୀକରଣ ସହିତ ସମ୍ବନ୍ଧିତ, ଯେତେବେଳେ ୱେବସାଇଟର ହାର ସୀମା କିମ୍ବା ପ୍ରବେଶ ଅସ୍ୱୀକୃତି ପଥ ସଠିକ୍ ଭାବରେ କାମ କରିବା ପରେ ଆସିପାରେ।