So installieren und konfigurieren Sie Cloudera Manager auf CentOS/RHEL 7 - Teil 3

In diesem Artikel haben wir den zu installierenden Schritt für Schritt beschrieben Cloudera Manager gemäß Industriepraktiken. In Teil 2 haben wir bereits die Cloudera-Voraussetzungen durchlaufen. Stellen Sie sicher, dass alle Server perfekt vorbereitet sind.

Anforderungen

• Best Practices für die Bereitstellung des Hadoop -Servers auf CentOS/RHEL 7 - Teil 1
• Einrichten von Hadoop -Voraussetzungen und Sicherheitshärten - Teil 2

Hier haben wir 5 Knotencluster, bei denen 2 Meister und 3 Arbeiter. Ich habe benutzt 5 AWS EC2 Instanzen zur Demonstration des Installationsverfahrens. Ich habe diese 5 Server wie unten benannt.

Master1.Tecmint.com Master2.Tecmint.com Worker1.Tecmint.com Worker2.Tecmint.com Worker3.Tecmint.com 

Cloudera Manager ist ein Verwaltungs- und Überwachungsinstrument für das gesamte CDH. Wir Administrator nennen es normalerweise ein Management -Tool für Cloudera Hadoop. Wir können mit der Verwendung dieses Tools bereitstellen, überwachen, steuern und Konfigurationsänderungen vornehmen. Dies ist sehr wichtig, um den gesamten Cluster zu verwalten.

Im Folgenden finden Sie die wichtigen Verwendungen von Cloudera Manager.

• Bereitstellen und konfigurieren Sie Hadoop -Cluster automatisiert.
• Überwachen Sie die Clustergesundheit
• Warnungen konfigurieren
• Fehlerbehebung
• Berichterstattung
• Cluster -Nutzungsbericht erstellen
• Ressourcen dynamisch konfigurieren

Schritt 1: Installieren Sie den Apache -Webserver auf CentOS

Wir werden die benutzen Master1 Als Webserver für Cloudera -Repositories. Außerdem ist Cloudera Manager Webui, also müssen wir haben Apache Eingerichtet. Befolgen Sie die folgenden Schritte, um den Apache -Webserver zu installieren.

# yum -y install httpd 

Sobald HTTPD installiert wurde, starten Sie es und aktivieren Sie, damit es mit dem Start gestartet wird.

# Systemctl Start HTTPD # SystemCTL Aktivieren Sie HTTPD 

Stellen Sie nach dem Start von HTTPD den Status sicher.

# Systemctl Status httpd 

Check-Apache-Status

Öffnen Sie nach dem Start von HTTPD einen Browser in Ihrem lokalen System und fügen Sie die IP -Adresse von ein Master1 In der Suchleiste sollten Sie diese Testseite erhalten, um sicherzustellen, dass HTTPD gut ausgeführt wird.

Überprüfen Sie die Apache -Webseite

Schritt 2: Konfigurieren Sie lokale DNS, um IP und Hostname zu beheben

Wir müssen einen DNS -Server haben oder konfigurieren /etc/hosts IP und Hostname beheben. Hier konfigurieren wir /etc/hosts, In Echtzeit wird jedoch ein dedizierter DNS-Server für die Produktionsumgebung vorhanden sein.

Befolgen Sie die folgenden Schritte, um einen Eintrag für alle Ihre Server in zu erstellen /etc/hosts.

# vi /etc /hosts 

Dies sollte auf allen Servern konfiguriert werden.

13.235.27.144 Master1.Tecmint.com Master1 13.235.135.170 Master2.Tecmint.com Master2 15.206.167.94 Worker1.Tecmint.com Worker1 13.232.173.158 Arbeiter2.Tecmint.com Worker2 65.0.182.222 Arbeiter3.Tecmint.com Worker3 

Konfigurieren Sie lokale DNS

Schritt 3: Konfigurieren Sie das SSH -Passwort ohne Anmeldung

Cloudera Manager wird installiert auf Master1 In dieser Demonstration. Wir müssen SSH ohne Passwort konfigurieren Master1 zu allen anderen Knoten. Weil das Cloudera Manager Verwendet SSH, um alle anderen Knoten für die Installation von Paketen zu kommunizieren.

Befolgen Sie die folgenden Schritte, um Passwort ohne SSH aus zu konfigurieren Master1 an alle verbleibenden Server. Wir werden einen Benutzer habenTecmintweiter vorgehen.

Erstellen Sie einen Benutzer 'Tecmint'Alle 4 Server verwenden den Befehl userAdd wie gezeigt.

# UserAdd -m Tecmint 

Um dem Benutzer das Root -Privileg zu geben. 'Tecmint', fügen Sie die folgende Zeile hinzu in /etc/sudoers Datei. Sie können diese Zeile unter Root hinzufügen, wie es im Screenshot Give gibt.

tecmint alle = (alle) alle 

Fügen Sie den Benutzer zu sudo hinzu

Wechseln Sie zum Benutzer 'Tecmint'und erstellen SSH -Schlüssel in der Master1 Verwenden des folgenden Befehls.

# sudo su tecmint $ ssh-keygen 

Kopieren Sie nun den erstellten Schlüssel auf alle 4 Server, indem Sie die verwenden ssh-copy-id Befehl wie gezeigt.

$ ssh-copy-id -i ~/.ssh/id_rsa.Pub [E-Mail geschützt] $ ssh-copy-id -i ~//.ssh/id_rsa.Pub [E-Mail geschützt] $ ssh-copy-id -i ~//.ssh/id_rsa.Pub [E-Mail geschützt] $ ssh-copy-id -i ~//.ssh/id_rsa.Pub [E -Mail geschützt] 

Jetzt sollten Sie in der Lage sein, SSH aus Master1 um alle Server ohne Passwort wie gezeigt zu verbleiben.

$ SSH Master2 $ SSH Worker1 $ SSH Worker2 $ SSH Worker3 

SSH -passwortlose Login -Server

Schritt 4: Installieren und Konfigurieren von Cloudera Manager

Wir können die verwenden Verkäufer (Cloudera) Repository So installieren Sie alle Pakete mithilfe der Paketverwaltungs -Tools in RHEL/CentOS. In Echtzeit ist das Erstellen unseres eigenen Repositorys die beste Praxis, da wir möglicherweise keinen Internetzugang auf den Produktionsservern haben.

Hier werden wir installieren Cloudera Manager 6.3.1 freigeben. Da werden wir benutzen Master1 Als Repo-Server laden wir die Pakete auf dem unten erwähnten Pfad herunter.

Erstellen Sie die unten erwähnten Verzeichnisse auf Master1 Server.

$ sudo mkdir -p/var/www/html/cloudera -repos/cm6 

Wir können das WGet -Tool verwenden, um Pakete über HTTP herunterzuladen. So installieren Sie wget Verwenden des folgenden Befehls.

$ sudo yum -y install wget 

Laden Sie als Nächstes die Cloudera Manager -TAR -Datei mit dem folgenden WGet -Befehl herunter.

$ wget https: // archiv.Cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-rothat7.Teer.gz 

Extrahieren Sie die TAR -Datei in /var/www/html/cloudera-repos/cm6, Schon haben wir gemacht Master1 als Webserver durch Installation http Und wir haben am Browser getestet.

$ sudo tar xvfz cm6.3.1-rothat7.Teer.gz -c/var/www/html/cloudera-repos/cm6-strip components = 1 

Stellen Sie nun sicher, dass alle Cloudera -RPM -Dateien in der Lage sind /var/www/html/cloudera-repos/cm6/rpms/x86_64 Verzeichnis.

$ cd/var/www/html/cloudera-repos/cm6 $ ll 

Listen Sie Cloudera -Dateien auf

Erstellen /etc/yum.Repos.D/Cloudera-Manager.Repo Dateien auf allen Servern im Cluster -Hosts mit folgenden Inhalten, hier Master1 (65.0.101.148) ist der Webserver.

[Cloudera-Repo] name = Cloudera-Manager BaseUrl = http: /// Cloudera-repos/cm6/enabled = 1 gpgcheck = 0 

Jetzt wurde das Repository hinzugefügt. Führen Sie den folgenden Befehl aus, um die aktivierten Repositorys anzuzeigen.

$ yum repolist 

Listen Sie Cloudera Repository auf

Führen Sie den folgenden Befehl aus, um alle verfügbaren Cloudera -verwandten Pakete im Repository anzuzeigen.

$ yum liste verfügbar | Grep Cloudera* 

Listen Sie Cloudera -Pakete auf

Installieren Sie Cloudera-Manager-Server, Cloudera-Manager-Agent, Cloudera-Manager-Dämons Cloudera-Manager-Server-DB-2.

$ sudo yum install Cloudera-Manager-Dämons Cloudera-Manager-Agent Cloudera-Manager-Server Cloudera-Manager-Server-DB-2 

Installieren Sie Cloudera in CentOS

Führen Sie den folgenden Befehl aus, um alle installierten Cloudera -Pakete anzuzeigen.

$ yum liste installiert | Grep Cloudera* 

Listen Sie installierte Cloudera -Pakete auf

Führen Sie den folgenden Befehl aus, um die zu starten Cloudera-SCM-Server-DB Dies ist eine zugrunde liegende Datenbank zum Speichern Cloudera Manager und andere Dienstleistungsmetadaten.

Standardmäßig, Cloudera findet sich auf Postgre-sql welches in die eingebettet ist Cloudera Manager. Wir installieren die eingebettete in einer externen Echtzeit-Datenbank, die verwendet werden kann. Es kann sein Orakel, Mysql, oder PostgreSQL.

$ sudo systemctl start cloudera-scm-server-db 

Führen Sie den folgenden Befehl aus, um den Status der Datenbank zu überprüfen.

$ sudo systemctl status cloudera-scm-server-db 

Überprüfen Sie den Cloudera -Datenbankstatus

Konfigurieren Sie die db.Eigenschaften für die Cloudera Manager Server.

$ vi/etc/cloudera-scm-server/db.Eigenschaften 

Konfigurieren Sie den folgenden Wert sind EINGEBETTET zu machen Cloudera Manager benutze die Eingebettete Datenbank.

com.Cloudera.CMF.db.SetUpType = eingebettet 

Konfigurieren Sie die Eigenschaften von Cloudera -Datenbank

Führen Sie den folgenden Befehl aus, um den Cloudera Manager -Server zu starten.

$ sudo systemctl start cloudera-scm-server 

Führen Sie den folgenden Befehl aus, um den Status des Cloudera Manager Server.

$ sudo systemctl status cloudera-scm-server 

Überprüfen Sie den Status des Cloudera Managers

Führen Sie den folgenden Befehl aus, um den Status des Status zu starten und zu überprüfen Cloudera Manager Agent.

$ sudo systemctl start cloudera-scm-Agent $ sudo systemctl status cloudera-scm-Agent 

Überprüfen Sie den Status des Cloudera Manager -Agenten

Einmal der Cloudera Manager Server erfolgreich und läuft gut, können Sie die Webui (Anmeldeseite) im Browser über die IP -Adresse und die Portnummer anzeigen 7180 Welches ist die Portzahl von Cloudera Manager.

https: // 65.0.101.148: 7180 

Cloudera Manager Login

Zusammenfassung

In diesem Artikel haben wir Schritt -für -Schritt -Prozess zur Installation gesehen Cloudera Manager An Centos 7. Wir werden im nächsten Artikel die CDH- und andere Serviceinstallationen sehen.