So richten Sie Hadoop Multi-Node-Cluster auf CentOS 7/6 ein

Die Apache Hadoop -Software -Bibliothek ist ein Framework, das die verteilte Verarbeitung großer Datensätze über Computer von Computern über einfache Programmiermodelle hinweg ermöglicht.

Unser früherer Artikel über Hadoop beschreibt, wie ein einzelner Knotencluster eingerichtet werden kann. Dieser Artikel hilft Ihnen bei der Schritt-für-Schritt-Installation und Konfiguration von Hadoop-Multi-Knoten-Cluster auf CentOS/RHEL 6.

Setup -Details:

Hadoop Master: 192.168.1.15 (Hadoop-Master)
Hadoop Slave: 192.168.1.16 (Hadoop-Slave-1)
Hadoop Slave: 192.168.1.17 (Hadoop-Slave-2)

Schritt 1. Java installieren

Vor der Installation von Hadoop stellen Sie sicher, dass Java auf allen Knoten von Hadoop -Cluster -Systemen installiert ist.

# Java -version Java Version "1.7.0_75 "Java (TM) SE -Laufzeitumgebung (Build 1.7.0_75-B13) Java Hotspot (TM) 64-Bit-Server VM (Build 24.75-B04, gemischter Modus) 

Wenn Sie Java nicht installiert haben, verwenden Sie den folgenden Artikel, um Java zu installieren.

Schritte zur Installation von Java 7 auf CentOS/RHEL 7/6/5

Schritt 2. Benutzerkonto erstellen

Erstellen Sie ein Systembenutzungskonto sowohl für Master- als auch für Slave -Systeme, die für die Hadoop -Installation verwendet werden können

# UserAdd Hadoop # Passwd Hadoop 

Ändern des Passworts für Benutzer Hadoop. Neues Passwort: Neues Passwort eingeben: PassWD: Alle Authentifizierungs -Token erfolgreich aktualisiert. 

Schritt 3: FQDN -Zuordnung hinzufügen

Bearbeiten /etc/hosts Datei auf allen Master- und Slave -Servern und fügen Sie die folgenden Einträge hinzu.

# vim /etc /hosts 

192.168.1.15 Hadoop-Master 192.168.1.16 Hadoop-Slave-1 192.168.1.17 Hadoop-Slave-2 

Schritt 4. Konfigurieren der Schlüsselanmeldung

Es ist erforderlich, den Hadoop -Benutzer ohne Passwort an SSH selbst einzurichten. Verwenden Sie die folgenden Befehle, um die automatische Anmeldung zwischen allen Hadoop -Cluster -Servern zu konfigurieren

# Su -Hadoop $ ssh -keygen -t RSA $ ssh -copy -id -i ~//.ssh/id_rsa.Pub [E-Mail geschützt] $ ssh-copy-id -i ~//.ssh/id_rsa.Pub [E-Mail geschützt] $ ssh-copy-id -i ~//.ssh/id_rsa.Pub [E -Mail geschützt] $ chmod 0600 ~/.ssh/autorized_keys $ exit 

Schritt 5. Laden Sie die Hadoop -Quelle herunter und extrahieren Sie sie

Laden Sie die neueste Version von Hadoop herunter.

# mkdir/opt/hadoop # cd/opt/hadoop/ # wget http: // Apache.Mesi.com.AR/Hadoop/Common/Hadoop-1.2.0/Hadoop-1.2.0.Teer.gz # tar -xzf hadoop -1.2.0.Teer.GZ # MV Hadoop-1.2.0 Hadoop # Chown -r Hadoop/opt/hadoop # cd/opt/hadoop/hadoop/ 

Schritt 6: Hadoop konfigurieren

Bearbeiten Sie zuerst die Hadoop -Konfigurationsdateien und führen Sie die folgenden Änderungen vor.
6.1 Core-Site bearbeiten.xml

# Vim Conf/Core-Site.xml 

#Add Folgendes innerhalb des Konfigurations -Tags fs.Standard.Nennen Sie HDFS: // Hadoop-Master: 9000/DFS.Berechtigungen falsch  

6.2 HDFS-Site bearbeiten.xml

# Vim Conf/HDFS-Site.xml 

# Fügen Sie Folgendes in das Konfigurations -Tag -DFS hinzu.Daten.Dir/opt/hadoop/hadoop/dfs/name/data true dfs.Name.Dir/opt/hadoop/hadoop/dfs/nennen echte dfs.Replikation 1  

6.3 Mapred-Site bearbeiten.xml

# Vim Conf/Mapred-Site.xml 

# Fügen Sie Folgendes im Konfigurations -Tag Mapred hinzu.Arbeit.Tracker Hadoop-Master: 9001  

6.4 Bearbeiten Sie Hadoop-Env.Sch

# vim conf/hadoop-env.Sch 

Exportieren Sie java_home =/opt/jdk1.7.0_75 Export hadoop_opts = -djava.Netz.bevorzugungen 

Stellen Sie den Java_Home -Pfad gemäß Ihrer Systemkonfiguration für Java fest.

Schritt 7: Kopieren Sie die Hadoop -Quelle auf Sklavenserver

Nach der Aktualisierung der obigen Konfiguration müssen wir die Quelldateien auf alle Sklavenserver kopieren.

# Su-Hadoop $ cd/opt/hadoop $ scp -r hadoop hadoop-slave-1:/opt/hadoop $ scp -r hadoop hadoop-slave-2:/opt/hadoop 

Schritt 8: Konfigurieren Sie Hadoop nur auf dem Master -Server

Gehen Sie zum Hadoop-Quellordner auf Hadoop-Master und machen Sie folgende Einstellungen.

# Su - Hadoop $ cd/opt/hadoop/hadoop 

$ vim conf/masters Hadoop-Master 

$ vim Conf/Sklaven Hadoop-Slave-1 Hadoop-Slave-2 

Formatname Knoten nur auf Hadoop Master

# Su - Hadoop $ cd/opt/hadoop/hadoop $ bin/hadoop namenode -format 

13/07/13 10:58:07 Info Namenode.Namenode: Startup_msg: /************************************************ ************************************.168.1.15 startup_msg: args = [-format] startup_msg: Version = 1.2.0 startup_msg: build = https: // svn.Apache.org/repos/ASF/Hadoop/Common/Zweige/Zweig-1.2 -r 1479473; Zusammengestellt von 'Hortonfo' am Montag 6. Mai 06:59:37 UTC 2013 Startup_msg: Java = 1.7.0_25 ************************************************ ***********/13/07/13 10:58:08 Info Util.GSET: Computerkapazität für MAP Blocksmap 13/07/13 10:58:08 Info Util.GSET: VM TYPE = 32-BIT 13/07/13 10:58:08 Info Util.GSET: 2.0% Max MEOSSDEMADE = 1013645312 13/07/13 10:58:08 Info Util.GSET: Kapazität = 2^22 = 4194304 Einträge 13/07/13 10:58:08 Info Util.GSET: Empfohlen = 4194304, tatsächlich = 4194304 13/07/13 10:58:08 Info Namenode.Fsnamesystem: fSOWER = Hadoop 13/07/13 10:58:08 Info Namenode.Fsnamesystem: supergroup = Supergroup 13/07/13 10:58:08 Info Namenode.Fsnamesystem: iSpermissionEnabled = true 13/07/13 10:58:08 Info Namenode.Fsnamesystem: dfs.Block.ungültig.Limit = 100 13/07/13 10:58:08 Info Namenode.FSnamesystem: isaccessTokenEnabled = false AccessKeyUpdateInterval = 0 min (s), AccessTokenLifetime = 0 min (s) 13/07/13 10:58:08 Info NamenNode.FSeditlog: DFS.Namenode.Änderungen.Duldung.Länge = 0 13/07/13 10:58:08 Info Namenode.Namenode: Caching -Dateinamen, die mehr als 10 Mal auftreten, 13/07/13 10:58:08 Info gemeinsam.Speicher: Bilddatei der Größe 112 in 0 Sekunden gespeichert. 13/07/13 10:58:08 Info Namenode.FSeditLog: Schließung des Bearbeitens Protokoll: Position = 4, Editlog =/opt/hadoop/hadoop/dfs/name/currentit.FSEDITLOG: Close Erfolg: Schnitt zu 4, editlog =/opt/hadoop/hadoop/dfs/name/current/edits 13/07/13 10:58:08 Info Common Common.Speicher: Speicherverzeichnis/Opt/Hadoop/Hadoop/DFS/Name wurde erfolgreich formatiert. 13/07/13 10:58:08 Info Namenode.Namenode: Shutdown_MSG: /************************************************************************* ************************************.168.1.15 ************************************************* ***********/ 

Schritt 9: Starten Sie Hadoop Services

Verwenden Sie den folgenden Befehl, um alle Hadoop-Dienste auf Hadoop-Master zu starten

$ bin/start-alle.Sch