پروکسی Nutch را در پیکربندی واکشگر قرار دهید
میزبان و درگاه پروکسی Nutch را در nutch-site.xml تعیین کنید و یک افزونه پروتکل انتخاب کنید که ویژگیهای لازم پروکسی را پیادهسازی میکند.
نقطه پایانی پایه را در nutch-site.xml بارگذاریشده توسط خزش تعیین کنید:
<configuration>
<property>
<name>http.proxy.host</name>
<value>proxy.example</value>
</property>
<property>
<name>http.proxy.port</name>
<value>8080</value>
</property>
</configuration>
برای مسیر واکشگر HTTP به سایتهای عمومی مجاز بدون احراز هویت پروکسی، نام میزبان و درگاه جداگانه را با نامزدی از فهرست پروکسی HTTP جایگزین کنید. بازنویسیهای محلی را در پرونده سایت نگه دارید و پیشفرضهای توزیعشده نسخه نصبشده را مقایسه کنید. صادرات پوسته بهتنهایی نمیتواند افزونهای را پیکربندی کند که هرگز آن را نمیخواند.
| ویژگی پروکسی | مصرفکننده مستند |
|---|---|
http.proxy.host, http.proxy.port | مسیر پایه واکشگر، بر اساس پیادهسازی انتخابشده |
http.proxy.username, http.proxy.password, http.proxy.realm | protocol-httpclient که اعتبارنامهها را روی کلاینت HTTP خود پیکربندی میکند |
http.proxy.type | گزینهای که برای protocol-okhttp شناسایی شده است |
اطمینان دهید افزونه لازم نصب شده و در انتخاب مؤثر گنجانده شده است. وجود یک فیلد در پرونده پیشفرض به معنای آن نیست که هر پیادهسازی HTTP از آن استفاده میکند.
پیادهسازی و پیکربندی فرآیندی را که واقعاً واکشی میکند بررسی کنید. کارگران توزیعشده و اسکریپتهای راهاندازی به ورودیهای موردنظر نیاز دارند؛ پروندهای که در نصب دیگری ویرایش شده، واکشگر از پیش پیکربندیشده را تغییر نمیدهد.