Aseta Nutchin välityspalvelin fetcherin konfiguraatioon
Aseta Nutchin välityspalvelimen isäntä ja portti tiedostoon nutch-site.xml ja valitse protokollalisäosa, joka toteuttaa vaaditut välityspalvelinominaisuudet.
Aseta perus päätepiste crawlin lataamaan nutch-site.xml-tiedostoon:
<configuration>
<property>
<name>http.proxy.host</name>
<value>proxy.example</value>
</property>
<property>
<name>http.proxy.port</name>
<value>8080</value>
</property>
</configuration>Korvaa HTTP-fetcherin reitillä sallituille julkisille sivustoille ilman välityspalvelimen todennusta isäntänimi ja erillinen portti HTTP-välityspalvelinluettelon ehdokkaalla. Pidä paikalliset ohitukset sivustotiedostossa ja vertaa asennetun version jaeltuja oletuksia. Pelkkä shell-vienti ei voi määrittää lisäosaa, joka ei koskaan lue sitä.
| Välityspalvelimen ominaisuus | Dokumentoitu kuluttaja |
|---|---|
http.proxy.host, http.proxy.port | Fetcherin perusreitti valitun toteutuksen mukaan |
http.proxy.username, http.proxy.password, http.proxy.realm | protocol-httpclient, joka määrittää tunnistetiedot HTTP-asiakkaassaan |
http.proxy.type | Asetukselle protocol-okhttp tunnistettu vaihtoehto |
Varmista, että vaadittu lisäosa on asennettu ja mukana tehokkaassa valinnassa. Oletustiedostossa näkyvä kenttä ei tarkoita, että jokainen HTTP-toteutus käyttää sitä.
Tarkastele toteutusta ja konfiguraatiota prosessissa, joka todella noutaa. Hajautetut työntekijät ja käynnistysskriptit tarvitsevat tarkoitetut syötteet; toisessa asennuksessa muokattu tiedosto ei muuta jo määritettyä fetcheriä.