Pange Nutchi puhverserver fetcheri konfiguratsiooni

Määrake Nutchi puhverserveri host ja port failis nutch-site.xml ning valige protokolli plugin, mis rakendab vajalikke puhverserveri funktsioone.

Määrake põhiline lõpp-punkt nutch-site.xml failis, mille crawl on laadinud:

<configuration>
  <property>
    <name>http.proxy.host</name>
    <value>proxy.example</value>
  </property>
  <property>
    <name>http.proxy.port</name>
    <value>8080</value>
  </property>
</configuration>

HTTP-fetcheri marsruudil lubatud avalikele saitidele ilma puhverserveri autentimiseta asendage hostinimi ja eraldi port kandidaadiga HTTP-puhverserverite loendist. Hoidke kohalikud alistamised saidifailis ja võrrelge paigaldatud versiooni levitatavaid vaikeväärtusi. Ainult shelli eksport ei saa konfigureerida pluginat, mis seda kunagi ei loe.

Puhverserveri omadusDokumenteeritud tarbija
http.proxy.host, http.proxy.portPõhiline fetcheri marsruut vastavalt valitud teostusele
http.proxy.username, http.proxy.password, http.proxy.realmprotocol-httpclient, mis konfigureerib oma HTTP-kliendis mandaadid
http.proxy.typeValik, mis on määratud jaoks protocol-okhttp

Veenduge, et vajalik plugin on paigaldatud ja kuulub kehtivasse valikusse. Vaikefailis esinev väli ei tähenda, et iga HTTP-teostus seda tarbib.

Uurige tegelikult tõmbava protsessi teostust ja konfiguratsiooni. Hajutatud töötajad ja käivituskriptid vajavad ettenähtud sisendeid; teises paigalduses muudetud fail ei muuda juba konfigureeritud fetcherit.

Seotud artiklid