Поставете проксито на Nutch в конфигурацията на фетчъра

Задайте хоста и порта на проксито на Nutch в nutch-site.xml и изберете протоколен плъгин, който реализира необходимите прокси функции.

Задайте основната крайна точка в заредения от обхождането nutch-site.xml:

<configuration>
  <property>
    <name>http.proxy.host</name>
    <value>proxy.example</value>
  </property>
  <property>
    <name>http.proxy.port</name>
    <value>8080</value>
  </property>
</configuration>

За HTTP маршрут на фетчъра към разрешени публични сайтове без прокси удостоверяване заменете името на хоста и отделния порт с кандидат от списъка с HTTP проксита. Пазете локалните замествания в сайтовия файл и сравнете разпространяваните стойности по подразбиране на инсталираното издание. Само експорт от шел не може да конфигурира плъгин, който никога не го чете.

Прокси свойствоДокументиран консуматор
http.proxy.host, http.proxy.portОсновният маршрут на фетчъра, според избраната реализация
http.proxy.username, http.proxy.password, http.proxy.realmprotocol-httpclient, който конфигурира идентификационни данни в своя HTTP клиент
http.proxy.typeОпция, определена за protocol-okhttp

Уверете се, че необходимият плъгин е инсталиран и включен в ефективния избор. Поле, което се среща във файл със стойности по подразбиране, не означава, че всяка HTTP реализация го консумира.

Прегледайте реализацията и конфигурацията на процеса, който действително фетчва. Разпределените работници и стартовите скриптове се нуждаят от предвидените входове; файл, редактиран в друга инсталация, не променя вече конфигуриран фетчър.

Подобни статии