Puneți proxy-ul Nutch în configurația fetcherului

Setați gazda și portul proxy-ului Nutch în nutch-site.xml și alegeți un plug-in de protocol care implementează funcțiile de proxy necesare.

Setați punctul final de bază în nutch-site.xml încărcat de crawl:

<configuration>
  <property>
    <name>http.proxy.host</name>
    <value>proxy.example</value>
  </property>
  <property>
    <name>http.proxy.port</name>
    <value>8080</value>
  </property>
</configuration>

Pentru o rută de fetcher HTTP către site-uri publice permise fără autentificare proxy, înlocuiți numele gazdei și portul separat cu un candidat din lista de proxy-uri HTTP. Păstrați suprascrierile locale în fișierul site-ului și comparați valorile implicite distribuite ale versiunii instalate. Doar o exportare shell nu poate configura un plug-in care nu o citește niciodată.

Proprietate proxyConsumator documentat
http.proxy.host, http.proxy.portRuta de bază a fetcherului, conform implementării alese
http.proxy.username, http.proxy.password, http.proxy.realmprotocol-httpclient, care configurează acreditările pe clientul său HTTP
http.proxy.typeO opțiune identificată pentru protocol-okhttp

Asigurați-vă că plug-inul necesar este instalat și inclus în selecția efectivă. Un câmp care apare într-un fișier implicit nu înseamnă că fiecare implementare HTTP îl folosește.

Examinați implementarea și configurația procesului care preia efectiv. Lucrătorii distribuiți și scripturile de lansare au nevoie de intrările prevăzute; un fișier editat într-o altă instalare nu schimbă un fetcher deja configurat.

Articole similare