Sæt Nutchs proxy i fetcher-konfigurationen
Angiv Nutchs proxy-vært og -port i nutch-site.xml, og vælg et protokol-plugin, der implementerer de krævede proxyfunktioner.
Angiv det grundlæggende endepunkt i nutch-site.xml, som crawl'et har indlæst:
<configuration>
<property>
<name>http.proxy.host</name>
<value>proxy.example</value>
</property>
<property>
<name>http.proxy.port</name>
<value>8080</value>
</property>
</configuration>For en HTTP-fetcher-rute til tilladte offentlige websteder uden proxygodkendelse skal du erstatte værtsnavnet og den separate port med en kandidat fra listen over HTTP-proxier. Behold lokale tilsidesættelser i webstedsfilen, og sammenlign den installerede udgaves distribuerede standardværdier. En shell-eksport alene kan ikke konfigurere et plugin, der aldrig læser den.
| Proxy-egenskab | Dokumenteret forbruger |
|---|---|
http.proxy.host, http.proxy.port | Den grundlæggende fetcher-rute, afhængigt af den valgte implementering |
http.proxy.username, http.proxy.password, http.proxy.realm | protocol-httpclient, som konfigurerer legitimationsoplysninger på sin HTTP-klient |
http.proxy.type | En mulighed, der er identificeret til protocol-okhttp |
Sørg for, at det krævede plugin er installeret og med i det effektive valg. At et felt optræder i en standardfil, betyder ikke, at enhver HTTP-implementering bruger det.
Undersøg implementeringen og konfigurationen af den proces, der faktisk henter. Distribuerede arbejdere og startscripts har brug for de tilsigtede input; en fil, der er redigeret i en anden installation, ændrer ikke en allerede konfigureret fetcher.