Hadoop DistCp: ρύθμιση του διακομιστή μεσολάβησης S3A στις εργασίες των workers

Για την υποδοχή S3A του Hadoop 3.4.2 μέσω διακομιστή μεσολάβησης HTTP, συγχωνεύστε αυτές τις εγγραφές στη διαμόρφωση Hadoop της λειτουργίας, συνήθως στο κατάλληλο core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Για μια δοκιμή με χωριστή άδεια προς ένα δημόσια προσβάσιμο τελικό σημείο S3 χωρίς διαπιστευτήρια διακομιστή μεσολάβησης, η λίστα διακομιστών μεσολάβησης HTTP παρέχει υποψήφιες τιμές για το όνομα κεντρικού υπολογιστή και τη ρητή θύρα. Το fs.s3a.proxy.ssl.enabled=false επιλέγει απλή σύνδεση HTTP προς αυτόν τον διακομιστή μεσολάβησης· δεν απενεργοποιεί το TLS από το S3A προς το S3. Χρησιμοποιήστε την τιμή που ταιριάζει στον πραγματικό ακροατή του διακομιστή μεσολάβησης.

Ελέγξτε και τους δύο καταναλωτές. Ο πελάτης υποβολής μπορεί να απαριθμήσει το S3 με επιτυχία, ενώ τα containers των εργασιών map του DistCp δεν μπορούν να φτάσουν τον διακομιστή μεσολάβησης ή να φορτώσουν την ίδια διαμόρφωση συστήματος αρχείων. Αυτές οι εργασίες εκτελούν τις μεταφορές.

Για μια αποτυχημένη εργασία, κρατήστε τον κεντρικό υπολογιστή εκτέλεσης, την ενεργή διαμόρφωση και το επιλεγμένο τελικό σημείο μαζί με το σφάλμα. Το περιβάλλον του κελύφους υποβολής δεν αρκεί ως απόδειξη για έναν worker.

Αυτές οι ρυθμίσεις διέπουν το s3a://. Παλαιότερες συνταγές για την υποδοχή Jets3t ρυθμίζουν άλλη υλοποίηση και δεν αντικαθιστούν τις επιλογές S3A που χρησιμοποιεί αυτή η εργασία.