Tegye a Nutch proxyját a fetcher konfigurációjába
Állítsa be a Nutch proxy hosztját és portját a nutch-site.xml fájlban, és válasszon olyan protokoll-bővítményt, amely megvalósítja a szükséges proxyfunkciókat.
Állítsa be az alap végpontot a crawl által betöltött nutch-site.xml fájlban:
<configuration>
<property>
<name>http.proxy.host</name>
<value>proxy.example</value>
</property>
<property>
<name>http.proxy.port</name>
<value>8080</value>
</property>
</configuration>Az engedélyezett nyilvános oldalak felé vezető HTTP fetcher útvonalhoz proxyhitelesítés nélkül cserélje le a hosztnevet és a külön portot a HTTP proxyk listájából származó jelöltre. Tartsa a helyi felülírásokat az oldalfájlban, és hasonlítsa össze a telepített kiadás terjesztett alapértékeivel. Önmagában egy shell-export nem tud beállítani egy olyan bővítményt, amely soha nem olvassa azt.
| Proxy tulajdonság | Dokumentált fogyasztó |
|---|---|
http.proxy.host, http.proxy.port | Az alap fetcher útvonal, a választott megvalósítás szerint |
http.proxy.username, http.proxy.password, http.proxy.realm | protocol-httpclient, amely a hitelesítő adatokat az HTTP-kliensén állítja be |
http.proxy.type | A(z) protocol-okhttp számára azonosított beállítás |
Győződjön meg arról, hogy a szükséges bővítmény telepítve van, és szerepel a tényleges kiválasztásban. Egy alapértelmezett fájlban megjelenő mező nem jelenti azt, hogy minden HTTP-megvalósítás felhasználja.
Vizsgálja meg a ténylegesen letöltő folyamat megvalósítását és konfigurációját. Az elosztott munkásoknak és indítószkripteknek a szándékolt bemenetekre van szükségük; egy másik telepítésben szerkesztett fájl nem változtat meg egy már beállított fetchert.