Nutch проксисин fetcher конфигурациясына жайгаштырыңыз
Nutch прокси хосту менен портун nutch-site.xml ичинде коюп, талап кылынган прокси функцияларын аткаруучу протокол плагинин тандаңыз.
Негизги акыркы чекитти crawl жүктөгөн nutch-site.xml ичинде коюңуз:
<configuration>
<property>
<name>http.proxy.host</name>
<value>proxy.example</value>
</property>
<property>
<name>http.proxy.port</name>
<value>8080</value>
</property>
</configuration>Прокси аутентификациясыз уруксат берилген ачык сайттарга HTTP fetcher маршруту үчүн хост атын жана өзүнчө портту HTTP прокси тизмесинен талапкер менен алмаштырыңыз. Жергиликтүү кайра аныктоолорду сайт файлында сактаңыз жана орнотулган чыгарылыштын таратылуучу демейки маанилери менен салыштырыңыз. Жалгыз shell экспорту аны эч качан окубаган плагинди конфигурациялай албайт.
| Прокси касиети | Документтелген керектөөчү |
|---|---|
http.proxy.host, http.proxy.port | Негизги fetcher маршруту, тандалган ишке ашырууга ылайык |
http.proxy.username, http.proxy.password, http.proxy.realm | protocol-httpclient, өзүнүн HTTP кардарында эсеп маалыматтарын конфигурациялайт |
http.proxy.type | protocol-okhttp үчүн аныкталган опция |
Талап кылынган плагиндин орнотулганын жана натыйжалуу тандоого киргизилгенин текшериңиз. Демейки файлда көрүнгөн талаа ар бир HTTP ишке ашыруусу аны колдонот дегенди билдирбейт.
Чындыгында fetch кылган процесстин ишке ашырылышын жана конфигурациясын текшериңиз. Бөлүштүрүлгөн жумушчулар менен иштетүү скрипттерине көздөлгөн киргизүүлөр керек; башка орнотууда оңдолгон файл мурда конфигурацияланган fetcherди өзгөртпөйт.