Nutch のプロキシを fetcher 設定に置く

nutch-site.xml で Nutch のプロキシホストとポートを設定し、必要なプロキシ機能を実装するプロトコルプラグインを選びます。

クロールが読み込む nutch-site.xml で基本エンドポイントを設定します:

<configuration>
  <property>
    <name>http.proxy.host</name>
    <value>proxy.example</value>
  </property>
  <property>
    <name>http.proxy.port</name>
    <value>8080</value>
  </property>
</configuration>

プロキシ認証なしで許可された公開サイトへ向かう HTTP fetcher 経路では、ホスト名と別個のポートを HTTP プロキシ一覧の候補に置き換えます。ローカルの上書きはサイトファイルに残し、インストール済みリリースが配布する既定値と比較します。シェルでの export だけでは、それを決して読まないプラグインを設定できません。

プロキシのプロパティ文書化された利用元
http.proxy.host, http.proxy.port基本の fetcher 経路(選択した実装による)
http.proxy.username, http.proxy.password, http.proxy.realmprotocol-httpclient。HTTP クライアント上で認証情報を設定します
http.proxy.typeprotocol-okhttp 向けに識別されたオプション

必要なプラグインがインストールされ、有効な選択に含まれていることを確認します。既定ファイルに項目があるからといって、すべての HTTP 実装がそれを利用するわけではありません。

実際に取得しているプロセスの実装と設定を確認します。分散ワーカーと起動スクリプトには意図した入力が必要です。別のインストールで編集したファイルは、すでに設定済みの fetcher を変えません。

関連記事