Legg Nutch-proxyen i fetcher-konfigurasjonen

Angi vertsnavn og port for Nutch-proxyen i nutch-site.xml, og velg en protokollplugin som implementerer proxyfunksjonene som kreves.

Angi grunnendepunktet i nutch-site.xml som crawl-ingen har lastet inn:

<configuration>
  <property>
    <name>http.proxy.host</name>
    <value>proxy.example</value>
  </property>
  <property>
    <name>http.proxy.port</name>
    <value>8080</value>
  </property>
</configuration>

For en HTTP-fetcher-rute til tillatte offentlige nettsteder uten proxyautentisering, erstatt vertsnavnet og den separate porten med en kandidat fra listen over HTTP-proxyer. Behold lokale overstyringer i nettstedfilen, og sammenlign de distribuerte standardverdiene i den installerte utgaven. En ren shell-eksport kan ikke konfigurere en plugin som aldri leser den.

Proxy-egenskapDokumentert forbruker
http.proxy.host, http.proxy.portDen grunnleggende fetcher-ruten, avhengig av valgt implementasjon
http.proxy.username, http.proxy.password, http.proxy.realmprotocol-httpclient, som konfigurerer legitimasjon på HTTP-klienten sin
http.proxy.typeEt alternativ identifisert for protocol-okhttp

Sørg for at den nødvendige plugin-en er installert og inkludert i det effektive utvalget. At et felt vises i en standardfil, betyr ikke at enhver HTTP-implementasjon bruker det.

Undersøk implementasjonen og konfigurasjonen av prosessen som faktisk henter. Distribuerte arbeidere og oppstartsskript trenger de tiltenkte inndataene; en fil som er redigert i en annen installasjon, endrer ikke en allerede konfigurert fetcher.

Relaterte artikler