Placez le proxy de Nutch dans la configuration du fetcher
Définissez l'hôte et le port du proxy de Nutch dans nutch-site.xml et choisissez un plug-in de protocole qui implémente les fonctions de proxy requises.
Définissez le point de terminaison de base dans le nutch-site.xml chargé par le crawl :
<configuration>
<property>
<name>http.proxy.host</name>
<value>proxy.example</value>
</property>
<property>
<name>http.proxy.port</name>
<value>8080</value>
</property>
</configuration>Pour une route de fetcher HTTP vers des sites publics autorisés sans authentification proxy, remplacez le nom d'hôte et le port séparé par un candidat de la liste de proxys HTTP. Conservez les substitutions locales dans le fichier du site et comparez les valeurs par défaut distribuées de la version installée. Une simple exportation de shell ne peut pas configurer un plug-in qui ne la lit jamais.
| Propriété du proxy | Consommateur documenté |
|---|---|
http.proxy.host, http.proxy.port | La route de base du fetcher, selon l'implémentation choisie |
http.proxy.username, http.proxy.password, http.proxy.realm | protocol-httpclient, qui configure les identifiants sur son client HTTP |
http.proxy.type | Une option identifiée pour protocol-okhttp |
Vérifiez que le plug-in requis est installé et inclus dans la sélection effective. Un champ présent dans un fichier de valeurs par défaut ne signifie pas que chaque implémentation HTTP le consomme.
Inspectez l'implémentation et la configuration du processus qui récupère réellement. Les workers distribués et les scripts de lancement ont besoin des entrées prévues ; un fichier modifié dans une autre installation ne change pas un fetcher déjà configuré.