Nutch-Proxy in der Fetcher-Konfiguration festlegen
Legen Sie Nutch-Proxy-Host und -Port in nutch-site.xml fest und wählen Sie ein Protokoll-Plugin, das die erforderlichen Proxy-Funktionen bereitstellt.
Legen Sie den grundlegenden Endpunkt in der vom Crawl geladenen nutch-site.xml fest:
<configuration>
<property>
<name>http.proxy.host</name>
<value>proxy.example</value>
</property>
<property>
<name>http.proxy.port</name>
<value>8080</value>
</property>
</configuration>Ersetzen Sie für eine HTTP-Fetcher-Route zu erlaubten öffentlichen Seiten ohne Proxy-Authentifizierung den Hostnamen und den separaten Port durch einen Kandidaten aus der HTTP-Proxy-Liste. Behalten Sie lokale Überschreibungen in der Site-Datei und vergleichen Sie die verteilten Standardwerte der installierten Version. Ein reiner Shell-Export kann ein Plugin nicht konfigurieren, das ihn nie liest.
| Proxy-Eigenschaft | Dokumentierter Konsument |
|---|---|
http.proxy.host, http.proxy.port | Die grundlegende Fetcher-Route je nach gewählter Implementierung |
http.proxy.username, http.proxy.password, http.proxy.realm | protocol-httpclient, das Anmeldeinformationen in seinem HTTP-Client setzt |
http.proxy.type | Eine Option, die für protocol-okhttp vorgesehen ist |
Stellen Sie sicher, dass das benötigte Plugin installiert und in der effektiven Auswahl enthalten ist. Ein Feld in einer Standarddatei bedeutet nicht, dass jede HTTP-Implementierung es auswertet.
Prüfen Sie Implementierung und Konfiguration des tatsächlich abrufenden Prozesses. Verteilt arbeitende Worker und Startskripte benötigen die vorgesehenen Eingaben; eine in einer anderen Installation bearbeitete Datei ändert einen bereits konfigurierten Fetcher nicht.