Nutch ၏ proxy ကို fetcher ဖွဲ့စည်းမှုတွင် ထည့်ပါ

nutch-site.xml တွင် Nutch ၏ proxy host နှင့် port ကို သတ်မှတ်ပြီး လိုအပ်သော proxy လုပ်ဆောင်ချက်များကို အကောင်အထည်ဖော်သည့် protocol plug-in ကို ရွေးပါ။

crawl က ဖွင့်ထားသော nutch-site.xml တွင် အခြေခံ endpoint ကို သတ်မှတ်ပါ:

<configuration>
  <property>
    <name>http.proxy.host</name>
    <value>proxy.example</value>
  </property>
  <property>
    <name>http.proxy.port</name>
    <value>8080</value>
  </property>
</configuration>

proxy အတည်ပြုချက်မပါဘဲ ခွင့်ပြုထားသော အများသူငှာ ဆိုက်များသို့ HTTP fetcher လမ်းကြောင်းအတွက် hostname နှင့် သီးခြား port ကို HTTP proxy စာရင်းမှ ကိုယ်စားလှယ်လောင်းဖြင့် အစားထိုးပါ။ ဒေသတွင်း ထပ်ရေးမှုများကို ဆိုက်ဖိုင်တွင် ထားရှိပြီး ထည့်သွင်းထားသော ထုတ်ဝေမှု၏ ဖြန့်ဝေထားသော မူလတန်ဖိုးများနှင့် နှိုင်းယှဉ်ပါ။ shell export တစ်ခုတည်းဖြင့် ၎င်းကို ဘယ်တော့မှ မဖတ်သော plug-in ကို ဖွဲ့စည်း၍ မရပါ။

proxy ဂုဏ်သတ္တိမှတ်တမ်းတင်ထားသော အသုံးပြုသူ
http.proxy.host, http.proxy.portအခြေခံ fetcher လမ်းကြောင်း၊ ရွေးချယ်ထားသော အကောင်အထည်ဖော်မှုအရ
http.proxy.username, http.proxy.password, http.proxy.realmprotocol-httpclient၊ ၎င်း၏ HTTP client တွင် အထောက်အထားများကို ဖွဲ့စည်းသည်
http.proxy.typeprotocol-okhttp အတွက် ဖော်ထုတ်ထားသော ရွေးချယ်မှု

လိုအပ်သော plug-in သည် ထည့်သွင်းပြီး ထိရောက်သော ရွေးချယ်မှုတွင် ပါဝင်ကြောင်း သေချာပါစေ။ မူလဖိုင်တွင် ပေါ်နေသော အကွက်တစ်ခုသည် HTTP အကောင်အထည်ဖော်မှုတိုင်း ၎င်းကို အသုံးပြုသည်ဟု မဆိုလိုပါ။

အမှန်တကယ် fetch လုပ်နေသော လုပ်ငန်းစဉ်၏ အကောင်အထည်ဖော်မှုနှင့် ဖွဲ့စည်းမှုကို စစ်ဆေးပါ။ ဖြန့်ဝေထားသော အလုပ်သမားများနှင့် စတင်ရေး script များသည် ရည်ရွယ်ထားသော ထည့်သွင်းမှုများ လိုအပ်သည်။ အခြား installation တွင် တည်းဖြတ်ထားသော ဖိုင်သည် ဖွဲ့စည်းပြီးသား fetcher ကို မပြောင်းလဲပါ။

ဆက်စပ်ဆောင်းပါးများ