Sätt Nutchs proxy i fetcher-konfigurationen
Ange Nutch-proxyns värd och port i nutch-site.xml och välj ett protokollplugin som implementerar de proxyfunktioner som krävs.
Ange slutpunkten i nutch-site.xml som genomsökningen har läst in:
<configuration>
<property>
<name>http.proxy.host</name>
<value>proxy.example</value>
</property>
<property>
<name>http.proxy.port</name>
<value>8080</value>
</property>
</configuration>För en HTTP-fetcherväg till tillåtna offentliga webbplatser utan proxyautentisering byter du ut värdnamnet och den separata porten mot en kandidat från listan över HTTP-proxyer. Behåll lokala åsidosättningar i webbplatsfilen och jämför den installerade utgåvans distribuerade standardvärden. Enbart en shell-export kan inte konfigurera ett plugin som aldrig läser den.
| Proxy-egenskap | Dokumenterad konsument |
|---|---|
http.proxy.host, http.proxy.port | Den grundläggande fetchervägen, beroende på vald implementering |
http.proxy.username, http.proxy.password, http.proxy.realm | protocol-httpclient, som konfigurerar autentiseringsuppgifter på sin HTTP-klient |
http.proxy.type | Ett alternativ som identifierats för protocol-okhttp |
Kontrollera att det nödvändiga pluginet är installerat och ingår i det effektiva urvalet. Att ett fält visas i en standardfil betyder inte att varje HTTP-implementering använder det.
Granska implementeringen och konfigurationen av den process som faktiskt hämtar. Distribuerade arbetare och startskript behöver de avsedda indata; en fil som redigerats i en annan installation ändrar inte en redan konfigurerad fetcher.