Zet de proxy van Nutch in de fetcher-configuratie
Stel de proxyhost en -poort van Nutch in nutch-site.xml in en kies een protocolplug-in die de vereiste proxyfuncties implementeert.
Stel het basis-eindpunt in de door de crawl geladen nutch-site.xml in:
<configuration>
<property>
<name>http.proxy.host</name>
<value>proxy.example</value>
</property>
<property>
<name>http.proxy.port</name>
<value>8080</value>
</property>
</configuration>Vervang voor een HTTP-fetcherroute naar toegestane openbare sites zonder proxyauthenticatie de hostnaam en de aparte poort door een kandidaat uit de HTTP-proxylijst. Houd lokale overschrijvingen in het sitebestand en vergelijk de gedistribueerde standaardwaarden van de geïnstalleerde release. Een shell-export alleen kan een plug-in niet configureren die hem nooit leest.
| Proxy-eigenschap | Gedocumenteerde verbruiker |
|---|---|
http.proxy.host, http.proxy.port | De basisroute van de fetcher, afhankelijk van de gekozen implementatie |
http.proxy.username, http.proxy.password, http.proxy.realm | protocol-httpclient, dat inloggegevens op zijn HTTP-client instelt |
http.proxy.type | Een optie die is geïdentificeerd voor protocol-okhttp |
Zorg dat de vereiste plug-in is geïnstalleerd en in de effectieve selectie is opgenomen. Een veld in een standaardbestand betekent niet dat elke HTTP-implementatie het gebruikt.
Onderzoek de implementatie en configuratie van het proces dat daadwerkelijk ophaalt. Gedistribueerde workers en startscripts hebben de bedoelde invoer nodig; een bestand dat in een andere installatie is bewerkt, verandert een al geconfigureerde fetcher niet.