တောင်းဆိုမှုတစ်ခုသည် စိတ်ကြိုက် proxy middleware ကို ကျော်သွားနိုင်ပြီး ၎င်း၏ မက်တာဒေတာထဲတွင် သက်ဝင်နေသော proxy URL ကို ဆက်လက်သယ်ဆောင်နိုင်သည်။ Scrapy ၏ built-in HttpProxyMiddleware သည် meta["proxy"] ကို ဖတ်သည်။ ယေဘုယျ dont_proxy အလံကို အဓိပ္ပာယ်ဖွင့်ဆိုခြင်း မရှိပါ။

တိုက်ရိုက်သွားရမည့် တောင်းဆိုမှုအတွက် ရှင်းလင်းစွာ သတ်မှတ်ပါ။

request.meta["proxy"] = None

ရှင်းလင်းသော None သည် ထို တောင်းဆိုမှုအတွက် built-in middleware အား ၎င်း၏ ပတ်ဝန်းကျင် ဆက်တင်များမှ proxy ရွေးချယ်ခြင်းကို တားဆီးသည်။ သော့ကို ဖျက်လိုက်ရုံဖြင့် ထို အလိုအလျောက် ရွေးချယ်မှုကို ပြန်ခွင့်ပြုသည်။

အခြား တပ်ဆင်ထားသော middleware က dont_proxy ကို အသုံးပြုပါက ထို အလံကို ၎င်း၏ မှတ်တမ်းတင်ထားသော ရည်ရွယ်ချက်အတွက်လည်း ထားရှိပါ။ နောက်ပိုင်း အစိတ်အပိုင်းက proxy URL ကို ထပ်မံ မသတ်မှတ်စေရန် middleware အစီအစဉ်ကို စီစဉ်ပါ။ လမ်းကြောင်း ရွေးချယ်နိုင်သော နောက်ဆုံး အစိတ်အပိုင်း ပြီးနောက် မက်တာဒေတာကို စစ်ဆေးပါ။

စိတ်ကြိုက် bypass အလံ သတ်မှတ်ပြီးနောက် 407 သည် ကျန်ရှိသော proxy လမ်းကြောင်းနှင့် ကိုက်ညီသည်၊ သို့သော် အခြေအနေ တစ်ခုတည်းဖြင့် မည်သည့် middleware က ရွေးချယ်ခဲ့သည်ကို မဖော်ပြနိုင်ပါ။ အစိတ်အပိုင်းအားလုံး တူညီသော ဖယ်ထုတ်ဝေါဟာရ ရှိသည်ဟု မယူဆဘဲ ထို တောင်းဆိုမှု၏ လုပ်ငန်းစဉ်တစ်လျှောက် အကျိုးသက်ရောက်သော proxy အကွက်ကို ခြေရာခံပါ။

ဆက်စပ်ဆောင်းပါးများ