Scrapy တွင် ProxyMesh ၏ ထွက်ပေါက် ခေါင်းစီး ပျောက်နေနိုင်သည့် အကြောင်းရင်း

Scrapy HTTPS ခေါ်ဆိုမှုတွင် X-ProxyMesh-IP မရှိခြင်းသည် တိုက်ရိုက် လမ်းကြောင်းကို သက်သေမပြပါ။ ဥမင်လိုဏ်ခေါင်း HTTPS တွင် ProxyMesh သည် လမ်းကြောင်း ခေါင်းစီးများကို CONNECT တုံ့ပြန်မှုအပေါ် ထားရှိသည်။ နောက်ပိုင်း ဝဘ်ဆိုက် တုံ့ပြန်မှုသည် TLS အတွင်းတွင် ရှိပြီး ထို ယခင် မက်တာဒေတာကို အလိုအလျောက် မပါဝင်ပါ။

ခေါ်ဆိုမှုတွင် ခေါင်းစီး ပေါ်လာသည့်နေရာတွင် ခြွင်းချက်အခြေအနေဖြင့် ဖတ်ပါ:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

ဤသည် ထို လဲလှယ်မှုအတွက် ဝန်ဆောင်သူက အစီရင်ခံသော ထွက်ပေါက် ဖြစ်ပြီး သတ်မှတ်ထားသော ဝင်ပေါက် ဟို့စ်အမည် မဟုတ်ပါ။

ဥမင် မက်တာဒေတာ လိုအပ်ပါက CONNECT ခေါင်းစီးများကို ဖော်ထုတ်သည့် ကိုက်ညီသော handler ပေါင်းစပ်မှုကို အသုံးပြုပါ။ ProxyMesh သည် ဤရည်ရွယ်ချက်အတွက် တစ်ခုကို ထိန်းသိမ်းထားသည်; ၎င်း၏ ပံ့ပိုးထားသော Scrapy ဗားရှင်းနှင့် ဒေါင်းလုဒ် handler ကို စစ်ဆေးပါ။ ပို့ဆောင်မှုက ဘယ်တော့မှ မပေးခဲ့သော ခေါင်းစီးများကို ပင့်ကူ ခွဲခြမ်းစိတ်ဖြာမှုက ဖော်ထုတ်နိုင်မည် မဟုတ်ပါ။

မက်တာဒေတာကို ၎င်း၏ ချိတ်ဆက်မှုနှင့် ချိတ်ဆက်ပါ။ ဥမင်ကို ပြန်လည် အသုံးပြုခြင်းသည် စာမျက်နှာတိုင်းအတွက် နောက်ထပ် CONNECT တုံ့ပြန်မှုကို မဖန်တီးပါ။ ဦးတည်ရာက လေ့လာတွေ့ရှိသော လွတ်လပ်သည့် ရင်းမြစ် လိပ်စာအတွက် ဝန်ဆောင်သူ ခေါင်းစီးကို စကြဝဠာ IP ရှာဖွေစက် အဖြစ် မသတ်မှတ်ဘဲ ထို ဦးတည်ရာ၏ အဝင် ချိတ်ဆက်မှုကို စစ်ဆေးပါ။