הציבו את ה-proxy של Nutch בקונפיגורציית ה-fetcher

הגדירו את המארח והפורט של ה-proxy של Nutch בקובץ nutch-site.xml ובחרו תוסף פרוטוקול שמממש את תכונות ה-proxy הנדרשות.

הגדירו את נקודת הקצה הבסיסית ב-nutch-site.xml שנטען על ידי הסריקה:

<configuration>
  <property>
    <name>http.proxy.host</name>
    <value>proxy.example</value>
  </property>
  <property>
    <name>http.proxy.port</name>
    <value>8080</value>
  </property>
</configuration>

למסלול fetcher של HTTP לאתרים ציבוריים מורשים ללא אימות proxy, החליפו את שם המארח והפורט הנפרד במועמד מתוך רשימת ה-proxy של HTTP. שמרו עקיפות מקומיות בקובץ האתר והשוו את ברירות המחדל המופצות של הגרסה המותקנת. ייצוא shell בלבד אינו יכול להגדיר תוסף שלעולם אינו קורא אותו.

מאפיין proxyצרכן מתועד
http.proxy.host, http.proxy.portמסלול ה-fetcher הבסיסי, בהתאם למימוש שנבחר
http.proxy.username, http.proxy.password, http.proxy.realmprotocol-httpclient, שמגדיר פרטי הזדהות בלקוח ה-HTTP שלו
http.proxy.typeאפשרות שזוהתה עבור protocol-okhttp

ודאו שהתוסף הנדרש מותקן ונכלל בבחירה האפקטיבית. שדה שמופיע בקובץ ברירות מחדל אינו אומר שכל מימוש HTTP צורך אותו.

בדקו את המימוש והקונפיגורציה של התהליך שמושך בפועל. עובדים מבוזרים וסקריפטים של הפעלה זקוקים לקלט המיועד; קובץ שנערך בהתקנה אחרת אינו משנה fetcher שכבר הוגדר.

מאמרים קשורים