Nutch-ийн проксийг fetcher-ийн тохиргоонд байрлуулна уу

Nutch-ийн прокси хост болон портыг nutch-site.xml-д тохируулж, шаардлагатай прокси функцуудыг хэрэгжүүлдэг протокол залгаасыг сонгоно уу.

Crawl-ийн ачаалсан nutch-site.xml-д үндсэн төгсгөлийн цэгийг тохируулна уу:

<configuration>
  <property>
    <name>http.proxy.host</name>
    <value>proxy.example</value>
  </property>
  <property>
    <name>http.proxy.port</name>
    <value>8080</value>
  </property>
</configuration>

Прокси баталгаажуулалтгүйгээр зөвшөөрөгдсөн нийтийн сайтууд руу HTTP fetcher-ийн замд хостын нэр болон тусдаа портыг HTTP прокси жагсаалтаас нэр дэвшигчээр солино уу. Локал дараах өөрчлөлтүүдийг сайтын файлд үлдээж, суулгасан хувилбарын түгээгддэг өгөгдмөл утгуудтай харьцуулна уу. Зөвхөн shell экспорт нь түүнийг хэзээ ч уншдаггүй залгаасыг тохируулж чадахгүй.

Прокси шинж чанарБаримтжуулсан хэрэглэгч
http.proxy.host, http.proxy.portҮндсэн fetcher-ийн зам, сонгосон хэрэгжүүлэлтийн дагуу
http.proxy.username, http.proxy.password, http.proxy.realmprotocol-httpclient, өөрийн HTTP клиент дээр итгэмжлэл тохируулдаг
http.proxy.typeprotocol-okhttp-д зориулж тодорхойлсон сонголт

Шаардлагатай залгаас суулгасан бөгөөд үр дүнтэй сонголтод орсон эсэхийг шалгана уу. Өгөгдмөл файлд харагдах талбар нь HTTP-ийн бүх хэрэгжүүлэлт үүнийг ашигладаг гэсэн үг биш.

Бодитоор fetch хийдэг процессын хэрэгжүүлэлт болон тохиргоог шалгана уу. Тархсан ажилчид болон эхлүүлэх скриптүүдэд зориулалтын оролтууд хэрэгтэй; өөр суулгацад засварласан файл аль хэдийн тохируулсан fetcher-ийг өөрчлөхгүй.

Холбоотой нийтлэлүүд