把 Nutch 的代理写进 fetcher 配置

在 nutch-site.xml 中设置 Nutch 的代理主机和端口，并选择实现所需代理功能的协议插件。

在抓取程序加载的 nutch-site.xml 中设置基础端点：

<configuration>
  <property>
    <name>http.proxy.host</name>
    <value>proxy.example</value>
  </property>
  <property>
    <name>http.proxy.port</name>
    <value>8080</value>
  </property>
</configuration>

对于不需要代理认证、通往允许的公开站点的 HTTP fetcher 路由，请把主机名和单独端口替换为 HTTP 代理列表中的候选。本地覆盖保留在站点文件中，并与已安装版本随附的默认值作比较。仅靠一次 shell 导出，无法配置一个从不读取它的插件。

代理属性有文档记录的消费方
http.proxy.host, http.proxy.port基础 fetcher 路由，取决于所选实现
http.proxy.username, http.proxy.password, http.proxy.realmprotocol-httpclient，它在自己的 HTTP 客户端上配置凭据
http.proxy.type为 protocol-okhttp 标识的一个选项

确认所需插件已安装并包含在有效选择中。默认文件中出现某个字段，并不意味着每种 HTTP 实现都会使用它。

检查实际执行抓取的进程的实现与配置。分布式 worker 与启动脚本需要预期输入；在另一套安装中编辑过的文件，不会改变已经配置好的 fetcher。

相关文章