Nutch-ის პროქსის fetcher-ის კონფიგურაციაში მოთავსება
დააყენეთ Nutch-ის პროქსის ჰოსტი და პორტი nutch-site.xml-ში და აირჩიეთ პროტოკოლური დანამატი, რომელიც საჭირო პროქსის ფუნქციებს ახორციელებს.
დააყენეთ საბაზისო ბოლო წერტილი crawl-ის მიერ ჩატვირთულ nutch-site.xml-ში:
<configuration>
<property>
<name>http.proxy.host</name>
<value>proxy.example</value>
</property>
<property>
<name>http.proxy.port</name>
<value>8080</value>
</property>
</configuration>HTTP fetcher-ის მარშრუტისთვის ნებადართულ საჯარო საიტებზე პროქსის ავთენტიფიკაციის გარეშე შეცვალეთ ჰოსტის სახელი და ცალკე პორტი კანდიდატით HTTP პროქსების სიიდან. შეინარჩუნეთ ლოკალური გადაფარვები საიტის ფაილში და შეადარეთ დაყენებული გამოცემის გავრცელებული ნაგულისხმევი მნიშვნელობები. მხოლოდ shell ექსპორტს არ შეუძლია დააკონფიგურიროს დანამატი, რომელიც მას არასოდეს კითხულობს.
| პროქსის თვისება | დოკუმენტირებული მომხმარებელი |
|---|---|
http.proxy.host, http.proxy.port | fetcher-ის საბაზისო მარშრუტი, არჩეული იმპლემენტაციის მიხედვით |
http.proxy.username, http.proxy.password, http.proxy.realm | protocol-httpclient, რომელიც სერტიფიკატებს თავის HTTP კლიენტზე აყენებს |
http.proxy.type | protocol-okhttp-ისთვის განსაზღვრული ოფცია |
დარწმუნდით, რომ საჭირო დანამატი დაყენებულია და ეფექტურ არჩევანში შედის. ნაგულისხმევ ფაილში არსებული ველი არ ნიშნავს, რომ ყველა HTTP იმპლემენტაცია მას იყენებს.
შეამოწმეთ რეალურად მომქანცავი პროცესის იმპლემენტაცია და კონფიგურაცია. განაწილებულ მუშაკებსა და გაშვების სკრიპტებს განკუთვნილი შეყვანები სჭირდებათ; სხვა ინსტალაციაში რედაქტირებული ფაილი უკვე კონფიგურირებულ fetcher-ს არ ცვლის.