Scrapy ၏ HTTP proxy middleware ဖြင့် တောင်းဆိုမှုတစ်ခုစီအတွက် proxy များ

Scrapy ၏ HTTP proxy middleware သည် တောင်းဆိုမှု metadata မှ proxy ကို ဖတ်သည်။

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

စာရွက်စာတမ်း၏ အဆုံးမှတ်ကို အစားထိုးပြီး middleware ကို ဖွင့်ထားပါ။ HTTP proxy စာရင်း သည် ဤတောင်းဆိုမှု URL အတွက် အများသုံး ကိုယ်စားလှယ်လောင်းများကို ပေးသည်။ ၎င်းသည် တောင်းဆိုမှု၏ လမ်းကြောင်းကို ရွေးချယ်သည်။ proxy အစုအဝေးအတွက် သီးခြား ရွေးချယ်မှု ယုတ္တိ လိုအပ်သည်။

Authentication သည် ရွေးချယ်ထားသော အဆုံးမှတ်ကို လိုက်နာသည်

ပါဝင်သော middleware သည် ၎င်း၏ ပံ့ပိုးထားသော proxy URL နှင့် ဆက်စပ် authorization header မှတစ်ဆင့် ပေးသော အထောက်အထားများကို ကိုင်တွယ်သည်။ သီးသန့်ထားသော URL စာလုံးများကို escape လုပ်ပါ ပြီး ထို URL ကို မှတ်တမ်းတင်ခြင်းကို ရှောင်ပါ။

အဆုံးမှတ် ပြောင်းပြီးနောက် သီးခြား middleware သည် ယခင် proxy အတွက် Basic header ကို မထိန်းသိမ်းသင့်ပါ။ အလွှာတစ်ခုတည်းက လမ်းကြောင်းနှင့် ၎င်း၏ အထောက်အထားများကို အတူတကွ စီမံပါစေ။

ရွေးချယ်မှု အစီအစဉ်နှင့် ပုံသေများ

စိတ်ကြိုက် downloader middleware က proxy ကို ရွေးပါက ပါဝင်သော proxy middleware က တောင်းဆိုမှုကို မလုပ်ဆောင်မီ ၎င်းကို လုပ်ဆောင်ပါ။ ထည့်သွင်းထားသော ထုတ်ဝေမှု၏ အစီအစဉ်နှင့် API ကို စစ်ဆေးပါ။ ခေတ်မမီတော့သော scrapy.contrib import များသည် ရှေးကျသော ထုတ်ဝေမှုများနှင့် သက်ဆိုင်သည်။

လုပ်ငန်းစဉ် ပတ်ဝန်းကျင်သည် scheme-specific ပုံသေများကိုလည်း ပေးနိုင်သည်။ ရည်ရွယ်ချက်ရှိရှိ တိုက်ရိုက် တောင်းဆိုမှုအတွက် မှတ်တမ်းတင်ထားသော အထူး proxy metadata အပြုအမူကို အသုံးပြုပါ။ မရှိသော key သည် တိုက်ရိုက် ဝင်ရောက်ခွင့်ဟု အမြဲမဆိုလိုပါ။

အမှန်တကယ် ရလဒ်ကို စစ်ဆေးပါ။ 407 သည် proxy authentication နှင့် ဆိုင်သည်။ ဝက်ဘ်ဆိုက်၏ နှုန်းကန့်သတ်ချက် သို့မဟုတ် ဝင်ရောက်ခွင့် ငြင်းပယ်မှုသည် လမ်းကြောင်း မှန်ကန်စွာ အလုပ်လုပ်ပြီးနောက် လာနိုင်သည်။