วางพร็อกซีของ Nutch ไว้ในการกำหนดค่า fetcher

ตั้งค่าโฮสต์และพอร์ตพร็อกซีของ Nutch ใน nutch-site.xml และเลือกปลั๊กอินโปรโตคอลที่ใช้งานคุณสมบัติพร็อกซีที่ต้องการ

กำหนดปลายทางพื้นฐานใน nutch-site.xml ที่ crawl โหลด:

<configuration>
  <property>
    <name>http.proxy.host</name>
    <value>proxy.example</value>
  </property>
  <property>
    <name>http.proxy.port</name>
    <value>8080</value>
  </property>
</configuration>

สำหรับเส้นทาง fetcher แบบ HTTP ไปยังไซต์สาธารณะที่อนุญาตโดยไม่ต้องยืนยันตัวตนพร็อกซี ให้แทนที่ชื่อโฮสต์และพอร์ตแยกด้วยผู้สมัครจากรายการพร็อกซี HTTP เก็บการแทนที่เฉพาะที่ไว้ในไฟล์ไซต์และเปรียบเทียบค่าเริ่มต้นที่แจกจ่ายของรุ่นที่ติดตั้ง การส่งออก shell อย่างเดียวไม่สามารถกำหนดค่าปลั๊กอินที่ไม่เคยอ่านมันได้

คุณสมบัติพร็อกซีผู้ใช้ที่บันทึกไว้
http.proxy.host, http.proxy.portเส้นทาง fetcher พื้นฐาน ตามการใช้งานที่เลือก
http.proxy.username, http.proxy.password, http.proxy.realmprotocol-httpclient ซึ่งกำหนดค่าข้อมูลรับรองบนไคลเอนต์ HTTP ของตน
http.proxy.typeตัวเลือกที่ระบุสำหรับ protocol-okhttp

ตรวจสอบว่าปลั๊กอินที่ต้องการติดตั้งแล้วและรวมอยู่ในการเลือกที่มีผล ฟิลด์ที่ปรากฏในไฟล์ค่าเริ่มต้นไม่ได้หมายความว่าทุกการใช้งาน HTTP ใช้ฟิลด์นั้น

ตรวจสอบการใช้งานและการกำหนดค่าของกระบวนการที่ดึงจริง เวิร์กเกอร์แบบกระจายและสคริปต์เริ่มทำงานต้องการอินพุตที่ตั้งใจไว้ ไฟล์ที่แก้ไขในการติดตั้งอื่นไม่เปลี่ยน fetcher ที่กำหนดค่าไว้แล้ว

บทความที่เกี่ยวข้อง