Đặt proxy của Nutch vào cấu hình fetcher

Đặt máy chủ và cổng proxy của Nutch trong nutch-site.xml và chọn một plug-in giao thức đáp ứng các tính năng proxy cần thiết.

Đặt điểm cuối cơ bản trong nutch-site.xml mà quá trình thu thập đã tải:

<configuration>
  <property>
    <name>http.proxy.host</name>
    <value>proxy.example</value>
  </property>
  <property>
    <name>http.proxy.port</name>
    <value>8080</value>
  </property>
</configuration>

Đối với tuyến fetcher HTTP đến các trang công khai được phép mà không cần xác thực proxy, hãy thay tên máy chủ và cổng riêng bằng một ứng viên từ danh sách proxy HTTP. Giữ các ghi đè cục bộ trong tệp trang và so sánh các giá trị mặc định được phân phối của bản phát hành đã cài. Chỉ một lần xuất shell không thể cấu hình một plug-in không bao giờ đọc nó.

Thuộc tính proxyTrình tiêu thụ được ghi nhận
http.proxy.host, http.proxy.portTuyến fetcher cơ bản, theo cách triển khai đã chọn
http.proxy.username, http.proxy.password, http.proxy.realmprotocol-httpclient, thành phần cấu hình thông tin xác thực trên ứng dụng khách HTTP của nó
http.proxy.typeMột tùy chọn được xác định cho protocol-okhttp

Đảm bảo plug-in cần thiết đã được cài đặt và có trong lựa chọn hiệu lực. Một trường xuất hiện trong tệp mặc định không có nghĩa là mọi cách triển khai HTTP đều dùng nó.

Kiểm tra cách triển khai và cấu hình của tiến trình thực sự tải dữ liệu. Các trình xử lý phân tán và tập lệnh khởi chạy cần những đầu vào dự kiến; một tệp được sửa trong bản cài đặt khác không thay đổi fetcher đã được cấu hình.

Bài viết liên quan