So richten Sie eine hohe Verfügbarkeit für Namenode - Teil 5 ein

Hadoop hat zwei Kernkomponenten, die sind HDFS Und GARN. HDFS ist zum Speichern der Daten, GARN ist zur Verarbeitung der Daten. HDFS Ist Hadoop verteiltes Dateisystem, es hat Namenode als Master -Service Und Datanode als Sklavenservice.

Namenode ist die kritische Komponente von Hadoop Das speichern die Metadaten von Daten, die in gespeicherten Daten gespeichert sind HDFS. Wenn der Namenode geht unter, der gesamte Cluster ist nicht zugänglich, es ist der einzige Ausfallpunkt (Spof). Die Produktionsumgebung wird also haben Namenode hohe Verfügbarkeit Um den Produktionsausfall zu vermeiden, wenn einer Namenode geht aus verschiedenen Gründen wie Maschinenabsturz, geplante Wartungsaktivität usw. aus.

Hadoop 2.X Bietet die Machbarkeit, wo wir zwei haben können Namenoden, man wird sein Aktiver Namenode und ein anderer wird sein Standby -Namen.

• Aktiver Namenode - Es verwaltet alle Kundenvorgänge.
• Standby -Namen - Es ist überflüssig von Aktiver Namenode. Wenn Aktiv nn geht dann runter, dann Standby nn wird die gesamte Verantwortung übernehmen Aktiv nn.

Aktivieren Namenode hohe Verfügbarkeit erfordert Zookeeper Das ist für automatisches Failover obligatorisch. ZKFC (Zookeeper Failover Controller) ist ein Zookeeper Kunde, der verwendet wird, um den Zustand von zu erhalten Namenode.

Anforderungen

• Best Practices für die Bereitstellung des Hadoop -Servers auf CentOS/RHEL 7 - Teil 1
• Einrichten von Hadoop -Voraussetzungen und Sicherheitshärten - Teil 2
• So installieren und konfigurieren Sie den Cloudera -Manager auf CentOS/RHEL 7 - Teil 3
• So installieren Sie CDH und konfigurieren Sie Serviceplatzierungen auf CentOS/RHEL 7 - Teil 4

In diesem Artikel werden wir aktivieren Namenode hohe Verfügbarkeit In Cloudera Manager.

Schritt 1: Installation von Zookeeper

1. Einloggen in Cloudera Manager.

http: // your-ip: 7180/cmf/home 

Cloudera Manager Dashboard

2. Im Cluster (Tecmint) Aktionsaufforderung, auswählen “Service hinzufügen”.

Fügen Sie Service in Cloudera Manager hinzu

3. Wählen Sie den Service aus “Zookeeper”.

Zookeeper -Service

4. Wählen Sie die Server aus, wo wir haben werden Zookeeper Eingerichtet.

Fügen Sie Zookeeper -Service hinzu

5. Wir werden haben 3 Zookeepers Formen Zookeeper Quorum. Wählen Sie die Server wie unten erwähnt aus.

Erstellen Sie Zookeeper Quorum

6. Konfigurieren Sie die Zookeeper Eigenschaften, hier haben wir die Standardeinstellungen. In Echtzeit müssen Sie separate Verzeichnisse/Mountspunkte zum Speichern haben Zookeeper Daten. In Teil 1, Wir haben über die Speicherkonfiguration für jeden Dienst erklärt. Klicken 'weitermachen' fortfahren.

Konfigurieren Sie Zookeeper -Eigenschaften

7. Die Installation beginnt nach der Installation Zookeeper Wird gestartet. Sie können die Hintergrundvorgänge hier anzeigen.

Installieren von Zookeeper -Dienst

8. Nach erfolgreichem Abschluss des oben genannten Schrittes wird der Status seinFertig''.

Zookeeper installiert

9. Jetzt, Zookeeper wird erfolgreich installiert und konfiguriert. Drücke den 'Beenden''.

Zookeeper konfiguriert

10. Sie können die anzeigen Zookeeper Service auf der Cloudera Manager Armaturenbrett.

Zookeeper -Service anzeigen

Schritt 2: Aktivieren der hohen Verfügbarkeit von Namenode

11. Gehe zu Cloudera Manager -> HDFS -> Aktionen -> Hohe Verfügbarkeit ermöglichen.

Hohe Verfügbarkeit ermöglichen

12. Geben Sie die NameService -Name als "namesService1” - Dies ist ein gebräuchlicher Namespace sowohl für aktive als auch für Standby -Namenode.

Fügen Sie den Namen des NamenService hinzu

13. Wähle aus Zweiter Namenode wo wir Standby haben werden Namenode.

Wählen Sie den zweiten Namenode

14. Hier wählen wir aus Master2.Tecmint.com für Standby Namenode.

Wählen Sie Host für Namenode

15. Wähle aus Tagebuch Knoten, diese sind obligatorische Dienste für die Synchronisation Aktiv und Standby Namenode.

Wählen Sie Jouranalknoten

16. Wir machen Quorum Journal durch platzieren Tagebuch Knoten in 3 Servern, wie unten erwähnt. Wählen Sie 3 Server und klicken Sie auf "OK".

Erstellen Sie ein Quorum -Journal

17. Klicken 'Weitermachen' fortfahren.

Weisen Sie dem Quorum Journal Rollen zu

18. Geben Sie die Journalknoten Verzeichnispfad. Nur wir müssen den Pfad erwähnen, während die Installation dieses Verzeichnisses automatisch vom Dienst selbst erstellt wird. Wir erwähnen als '/jn'. Klicken 'Weitermachen' fortfahren.

Fügen Sie den Journalknotenpfad hinzu

19. Es wird die Aktivierung der Aktivierung der Aktivierung Hohe Verfügbarkeit.

Hohe Verfügbarkeit ermöglichen

20. Sobald alle Hintergrundprozesse abgeschlossen sind, erhalten wir ''Fertig'Status.

Fertig hohe Verfügbarkeit

21. Schließlich werden wir eine Benachrichtigung bekommen. 'Erfolgreich ermöglichte eine hohe Verfügbarkeit''. Klicken 'Beenden''.

Hohe Verfügbarkeit aktiviert

22. Überprüfen Sie die Aktiv Und Standby -Namen durch gehen zu Cloudera Manager -> HDFS -> Instanzen.

Überprüfen Sie die hohe Verfügbarkeit

23. Hier können Sie zwei Wee Wee Wee Namenoden, Einer wird in der 'seinAktiv"Staat und ein anderer werden in" sein "Stehen zu' Zustand.

Überprüfen Sie Namenoden

Abschluss

In diesem Artikel haben wir den Schritt -für -Schritt -Prozess durchlaufen, um zu aktivieren Namenode hohe Verfügbarkeit. Es wird dringend empfohlen zu haben Namenode hohe Verfügbarkeit in allen Clustern in einer Echtzeitumgebung. Bitte veröffentlichen Sie Ihre Zweifel, wenn Sie bei diesem Prozess einen Fehler haben. Wir werden sehen Ressourcenmanager hohe Verfügbarkeit im nächsten Artikel.