Տեղադրեք Nutch-ի վստահված սերվերը fetcher-ի կազմաձևում

Սահմանեք Nutch-ի proxy հոսթը և պորտը nutch-site.xml-ում և ընտրեք արձանագրային plugin, որը ներդնում է պահանջվող proxy հատկությունները։

Սահմանեք հիմնական վերջնակետը crawl-ի կողմից բեռնված nutch-site.xml-ում։

<configuration>
  <property>
    <name>http.proxy.host</name>
    <value>proxy.example</value>
  </property>
  <property>
    <name>http.proxy.port</name>
    <value>8080</value>
  </property>
</configuration>

Առանց proxy նույնականացման թույլատրված հանրային կայքերին HTTP fetcher ուղու համար փոխարինեք հոսթի անունը և առանձին պորտը HTTP proxy ցանկից թեկնածուով։ Պահպանեք տեղական վերագրանցումները կայքի ֆայլում և համեմատեք տեղադրված թողարկման տարածված լռելյայն արժեքների հետ։ Միայն shell արտահանումը չի կարող կարգավորել plugin, որը երբեք այն չի կարդում։

Proxy հատկությունՓաստաթղթավորված սպառող
http.proxy.host, http.proxy.portՀիմնական fetcher ուղին՝ ըստ ընտրված ներդրման
http.proxy.username, http.proxy.password, http.proxy.realmprotocol-httpclient, որը հավատարմագրերը կարգավորում է իր HTTP հաճախորդում
http.proxy.typeprotocol-okhttp-ի համար նույնացված ընտրանք

Համոզվեք, որ պահանջվող plugin-ը տեղադրված է և ներառված է արդյունավետ ընտրության մեջ։ Լռելյայն ֆայլում հայտնվող դաշտը չի նշանակում, որ յուրաքանչյուր HTTP ներդրում օգտագործում է այն։

Ուսումնասիրեք իրականում fetch կատարող գործընթացի ներդրումն ու կազմաձևը։ Բաշխված աշխատողներն ու գործարկման սկրիպտները պահանջում են նախատեսված մուտքերը. այլ տեղադրումում խմբագրված ֆայլը չի փոխում արդեն կարգավորված fetcher-ը։

Առնչվող հոդվածներ