Τοποθετήστε το proxy του Nutch στη διαμόρφωση του fetcher

Ορίστε τον κεντρικό υπολογιστή και τη θύρα του proxy του Nutch στο nutch-site.xml και επιλέξτε ένα πρόσθετο πρωτοκόλλου που υλοποιεί τις απαιτούμενες λειτουργίες proxy.

Ορίστε το βασικό τελικό σημείο στο nutch-site.xml που φορτώνει η ανάσυρση:

<configuration>
  <property>
    <name>http.proxy.host</name>
    <value>proxy.example</value>
  </property>
  <property>
    <name>http.proxy.port</name>
    <value>8080</value>
  </property>
</configuration>

Για διαδρομή fetcher HTTP προς επιτρεπόμενους δημόσιους ιστότοπους χωρίς έλεγχο ταυτότητας proxy, αντικαταστήστε το όνομα κεντρικού υπολογιστή και την ξεχωριστή θύρα με υποψήφιο από τη λίστα proxy HTTP. Κρατήστε τις τοπικές παρακάμψεις στο αρχείο του ιστότοπου και συγκρίνετε τις κατανεμημένες προεπιλογές της εγκατεστημένης έκδοσης. Μόνο μια εξαγωγή shell δεν μπορεί να διαμορφώσει ένα πρόσθετο που δεν τη διαβάζει ποτέ.

Ιδιότητα proxyΤεκμηριωμένος καταναλωτής
http.proxy.host, http.proxy.portΗ βασική διαδρομή του fetcher, σύμφωνα με την επιλεγμένη υλοποίηση
http.proxy.username, http.proxy.password, http.proxy.realmprotocol-httpclient, που διαμορφώνει διαπιστευτήρια στον πελάτη HTTP του
http.proxy.typeΕπιλογή που προσδιορίζεται για το protocol-okhttp

Βεβαιωθείτε ότι το απαιτούμενο πρόσθετο είναι εγκατεστημένο και περιλαμβάνεται στην ενεργή επιλογή. Ένα πεδίο που εμφανίζεται σε αρχείο προεπιλογών δεν σημαίνει ότι κάθε υλοποίηση HTTP το χρησιμοποιεί.

Εξετάστε την υλοποίηση και τη διαμόρφωση της διεργασίας που πραγματικά ανακτά. Οι κατανεμημένοι εργαζόμενοι και τα σενάρια εκκίνησης χρειάζονται τις προβλεπόμενες εισόδους· ένα αρχείο που επεξεργάστηκε σε άλλη εγκατάσταση δεν αλλάζει έναν ήδη διαμορφωμένο fetcher.

Σχετικά άρθρα