So installieren Sie CDH und konfigurieren Sie Serviceplatzierungen auf CentOS/RHEL 7 - Teil 4

In einem früheren Artikel haben wir die Installation von Cloudera Manager erläutert. In diesem Artikel erfahren Sie, wie man installiert und konfiguriert ist CDH (Cloudera Distribution Hadoop) In Rhel/Centos 7.

Während der Installation des CDH -Pakets müssen wir das sicherstellen Cloudera Manager Und CDH Kompatibilität. Cloudera -Version hat 3 Teile - ... Cloudera Manager Major und Minor -Version müssen mit CDH Major und Minor -Version übereinstimmen.

Zum Beispiel verwenden wir Cloudera Manager 6.3.1 Und CDH 6.3.2. Hier 6 ist Major und 3 ist die Minorversion. Major und Moll müssen gleich sein, um Kompatibilitätsprobleme zu vermeiden.

Anforderungen

• Best Practices für die Bereitstellung des Hadoop -Servers auf CentOS/RHEL 7 - Teil 1
• Einrichten von Hadoop -Voraussetzungen und Sicherheitshärten - Teil 2
• So installieren und konfigurieren Sie den Cloudera -Manager auf CentOS/RHEL 7 - Teil 3

Wir werden die folgenden 2 Knoten zur Installation von CDH nehmen. Bereits haben wir Cloudera Manager in installiert Master1, Außerdem verwenden wir Master1 Als Repo -Server.

Master1.Tecmint.com Worker1.Tecmint.com 

Schritt 1: Laden Sie CDH -Pakete auf Master Server herunter

1. Zunächst verbinden Sie sich mit Master1 Server und Download CDH -Parzellen Dateien in der /var/www/html/cloudera-repos/cdh Verzeichnis . Wir müssen unten genannte 3 Dateien herunterladen, die mit kompatibel sein sollten Rhel/Centos 7.

CDH-6.3.2-1.CDH6.3.2.p0.1605554-el7.Paket CDH-6.3.2-1.CDH6.3.2.p0.1605554-el7.Paket.Sha1 manifestiert.JSON 

2. Stellen Sie vor dem Herunterladen dieser Dateien sicher, dass Sie a erstellen CDH Verzeichnis unter /var/www/html/cloudera-repos/ Standort.

$ cd/var/www/html/cloudera-repos/$ sudo mkdir cdh $ cdh CDH 

3. Laden Sie anschließend die oben genannten 3 Dateien mit dem folgenden WGet -Befehl herunter.

$ sudo wGet https: // Archiv.Cloudera.com/cdh6/6.3.2/Parzellen/CDH-6.3.2-1.CDH6.3.2.p0.1605554-el7.Paket $ sudo wget https: // Archiv.Cloudera.com/cdh6/6.3.2/Parzellen/CDH-6.3.2-1.CDH6.3.2.p0.1605554-el7.Paket.SHA1 $ sudo wGet https: // Archiv.Cloudera.com/cdh6/6.3.2/Parzellen/Manifest.JSON 

Schritt 2: Setup Cloudera Manager Repo auf Mitarbeiterkunden einstellen

4. Jetzt verbinden Sie sich mit Arbeiter Server und kopieren Sie die Repo -Datei (Cloudera-Manager.Repo) vom Repo Server (Master1) auf alle verbleibenden Worker -Server. Diese Repo -Datei stellt sicher.

Katze>/etc/yum.Repos.D/Cloudera-Manager.Repo < 
5. Sobald das Repo hinzugefügt wurde, listen Sie die aktivierten Repositorys auf, um sicherzustellen, dass die Cloudera-Manager Repo ist aktiviert.
 
$ yum repolist 
  Überprüfen Sie die aktivierten Repos 
Schritt 3: Installieren Sie Cloudera Manager Daemons und Agent auf Worker -Servern
 
6. Jetzt müssen wir installieren Cloudera-Manager-Dämonen Und Cloudera-Manager-Agent auf allen verbleibenden Servern.
 
$ sudo yum install Cloudera-Manager-Dämons Cloudera-Manager-Agent 
  Installieren Sie Cloudera Manager Daemons and Agent 
7. Als nächstes müssen Sie die konfigurieren Cloudera Manager Agent, um die zu melden Cloudera Manager Server.
 
$ sudo vi/etc/cloudera-scm-Agent/config.Ini 
 
Ersetze das Lokalhost mit Cloudera Manager Server IP Adresse.
  Konfigurieren Sie Cloudera Manager 
8. Start Cloudera Manager Agent und überprüfen Sie den Status.
 
$ sudo systemctl start cloudera-scm-Agent $ sudo systemctl status cloudera-scm-Agent 
  Überprüfen Sie den Status des Cloudera Managers 
Schritt 4: CDH installieren und einstellen
 
Wir haben CDH Pakete in Master1 - Repo -Server. Stellen Sie sicher /etc/yum.Repos.D/ Wenn Sie die automatische Installation verwenden Cloudera Manager.
 
9. Melden Sie sich bei Cloudera Manager mit der folgenden URL am Port an 7180 und verwenden Sie den Standard -Benutzernamen und das Passwort von Cloudera Manager.
 
http: // 104.211.95.96: 7180/CMF/Login Benutzername: Administrator Passwort: Administrator 
  Cloudera Manager Login 
10. Sobald Sie sich angemeldet haben, werden Sie mit der Begrüßungsseite begrüßt. Hier finden Sie Versionshinweise, neue Funktionen von Cloudera Manager.
  Cloudera Manager Willkommen 
11. Akzeptieren Sie die Lizenz und fahren Sie fort.
  Cloudera Manager Lizenz 
12. Wählen Sie die Ausgabe aus. Die Testversion wurde standardmäßig ausgewählt. Wir können damit fortfahren.
  Cloudera Manager Edition 
13. Befolgen Sie nun die Cluster -Installationsschritte. Setzen Sie die Begrüßungsseite fort.
  Cloudera Manager Cluster -Installation 
14. Nennen Sie den Cluster und fahren Sie fort, wir haben als "benannt"Tecmint”. Es gibt 2 Arten von Cluster, die Sie definieren können. Wir fahren mit einem regulären Cluster fort.
 
 
Regelmäßiger Cluster: Besteht aus Speicherknoten, Berechnung Knoten und anderen erforderlichen Diensten bestehen.
 
Cluster berechnen: Besteht nur aus Rechenknoten bestehen. Externer Speicher kann zum Speichern von Daten verwendet werden.
 
  Cloudera Manager Cluster -Name 
15. Wir haben bereits installiert Cloudera Manager Agents auf allen Servern. Sie können diese Server finden “Derzeit verwaltete Hosts”. Für die automatische Installation müssen Sie die FQDN oder IP der Server in die “eingebenNeue GastgeberOption und Suche. Cloudera Manager erkennt automatisch die Hosts, auf denen wir CDH installieren müssen.
 
Hier klicken Sie auf “auf“Derzeit verwaltete Hosts”, Wählen Sie alle Hosts aus, indem Sie 'auswählen'Hostname' und fortsetzen.
  Derzeit verwaltete Hosts 
16. Wählen Sie Repository - Verwenden Sie Paket ist der empfohlene Weg. Klicken 'Mehr Optionen'Um das Repository zu konfigurieren.
  Wählen Sie Repository 
17. Geben Sie die unten erwähnte lokale Repository -URL ein. Entfernen Sie alle verbleibenden öffentlichen Repositories, die das Web zeigen (Cloudera -Repositories).
  Paket -Repository -Einstellungen 
Dies ist das CDH Lokale Repository -URL, die wir haben Master1.
 
http: // 104.211.95.96/Cloudera-Repos/CDH/ 
  Cloudera Repo 
18. Sobald die Repository -URL eingegeben wurde, werden nur verfügbare Parzellen angezeigt. Setzen Sie diesen Schritt fort.
  Wählen Sie Repository -Einstellungen 
19. Jetzt werden die Parzellen auf allen verfügbaren Servern heruntergeladen, verteilt, ausgepackt und aktiviert.
  Pakete einbauen 
20. Einmal der CDH -Parzellen werden aktiviert, inspizieren Sie die Cluster. Dieser Schritt wird eine Gesundheitsuntersuchung des Clusters durchführen. Hier überspringen wir und gehen weiter.
  Cluster inspizieren 
Schritt 5: Clusterkonfiguration
 
21. Hier müssen wir die auswählen Dienstleistungen zu installieren in Cluster. Einige verpackte Kombinationen werden standardmäßig verfügbar sein, wir gehen mit Kundendienste.
  Clusterkonfiguration 
22. In Kundendienste, Wir installieren nur Kernkomponenten (HDFS Und GARN) für diesen Demo -Zweck.
  Dienste installieren 
23. Weisen Sie dem Server die Rollen zu. Wir können nach unseren Anforderungen anpassen. Suchen Sie das folgende Diagramm, das die empfohlenen beschreibt Rollenverteilung Für einen einfachen kleinen Cluster mit 5 bis 20 Knoten mit hoher Verfügbarkeit.
  Rollen zuweisen  Empfohlene Rollenverteilungen 
24. Wählen Sie den Datenbanktyp, den Hostnamen, den DB -Namen, den Benutzernamen und das Passwort aus. Da wir eingebettete Postgresql verwenden, wird es standardmäßig ausgewählt. Testen Sie die Verbindung, sie sollte erfolgreich sein.
  Setup -Datenbank 
25. Auf dieser Seite werden die Standardkonfigurationsparameter von angezeigt HDFS Und Garn, einschließlich Datenverzeichnisse. Überprüfen Sie alle Konfigurationsdetails und Sie können bei Bedarf Änderungen vornehmen. Dann mach weiter damit.
  Überprüfen Sie die Konfigurationsparameter 
26. Auf dieser Seite werden die Details der 'angezeigtErster Lauf' Befehl. Sie können es erweitern, um die Details des Ausführens von Befehlen anzuzeigen. Wenn im Cluster ein Netzwerk- oder Berechtigungsprobleme vorhanden sind, wird dieser Schritt fehlgeschlagen. Normalerweise entscheidet dieser Schritt die reibungslose Installation des Clustergebäudes.
  Erste Ausführungsbefehle  Befehle ausführen 
27. Sobald der obige Schritt abgeschlossen ist, klicken Sie auf 'Beenden'Um die Installation abzuschließen. Dies ist das Dashboard von Cloudera Manager nach der Installation von CDH.
 
http: // 104.211.95.96: 7180/cmf/home 
  Cloudera Manager Dashboard 
Abschluss
 
Wir haben die abgeschlossen Cloudera Manager Und CDH Installation erfolgreich. Im Cloudera Manager Dashboard, Sie finden einen vordefinierten Satz von Diagrammen, in denen Sie Cluster-CPU, Festplatten-IO usw. überwachen können. Wir können den gesamten Cluster mit diesem verwalten Cloudera Manager. Wir werden alle Verwaltungsoperationen in den kommenden Artikeln sehen.