Поместите прокси Nutch в конфигурацию fetcher
Задайте хост и порт прокси Nutch в nutch-site.xml и выберите протокольный плагин, реализующий требуемые функции прокси.
Задайте базовую конечную точку в загруженном обходом nutch-site.xml:
<configuration>
<property>
<name>http.proxy.host</name>
<value>proxy.example</value>
</property>
<property>
<name>http.proxy.port</name>
<value>8080</value>
</property>
</configuration>Для маршрута HTTP fetcher к разрешённым публичным сайтам без аутентификации прокси замените имя хоста и отдельный порт кандидатом из списка HTTP-прокси. Сохраняйте локальные переопределения в файле сайта и сравнивайте распространяемые значения по умолчанию установленного выпуска. Один только экспорт оболочки не может настроить плагин, который её никогда не читает.
| Свойство прокси | Документированный потребитель |
|---|---|
http.proxy.host, http.proxy.port | Базовый маршрут fetcher, согласно выбранной реализации |
http.proxy.username, http.proxy.password, http.proxy.realm | protocol-httpclient, который настраивает учётные данные в своём HTTP-клиенте |
http.proxy.type | Опция, определённая для protocol-okhttp |
Убедитесь, что нужный плагин установлен и включён в действующий выбор. Поле в файле значений по умолчанию не означает, что каждая реализация HTTP его использует.
Изучите реализацию и конфигурацию процесса, который действительно выполняет выборку. Распределённым воркерам и скриптам запуска нужны предусмотренные входные данные; файл, изменённый в другой установке, не меняет уже настроенный fetcher.