Set Nutch-proxyen i fetcher-konfigurasjonen
Set vertsnamn og port for Nutch-proxyen i nutch-site.xml og vel ei protokollutviding som implementerer proxyfunksjonane som trengst.
Set grunnendepunktet i nutch-site.xml som crawl-en har lasta inn:
<configuration>
<property>
<name>http.proxy.host</name>
<value>proxy.example</value>
</property>
<property>
<name>http.proxy.port</name>
<value>8080</value>
</property>
</configuration>For ei HTTP-fetcher-rute til tillatne offentlege nettstader utan proxyautentisering, byt ut vertsnamnet og den separate porten med ein kandidat frå lista over HTTP-proxyar. Hald lokale overstyringar i nettstadsfila og samanlikn dei distribuerte standardverdiane i den installerte utgåva. Ein rein shell-eksport kan ikkje konfigurere ei utviding som aldri les han.
| Proxy-eigenskap | Dokumentert forbrukar |
|---|---|
http.proxy.host, http.proxy.port | Den grunnleggjande fetcher-ruta, avhengig av vald implementasjon |
http.proxy.username, http.proxy.password, http.proxy.realm | protocol-httpclient, som konfigurerer legitimasjon på HTTP-klienten sin |
http.proxy.type | Eit alternativ identifisert for protocol-okhttp |
Sørg for at den naudsynte utvidinga er installert og med i det effektive utvalet. At eit felt viser seg i ei standardfil, tyder ikkje at kvar HTTP-implementasjon brukar det.
Undersøk implementasjonen og konfigurasjonen av prosessen som faktisk hentar. Distribuerte arbeidarar og oppstartsskript treng dei tiltenkte inndataa; ei fil som er redigert i ein annan installasjon, endrar ikkje ein allereie konfigurert fetcher.