Installieren und konfigurieren Sie Apache Oozie Workflow Scheduler für CDH 4.X auf rhel/centos 6/5

Oozie ist ein Open -Source -Scheduler für Hadoop, Es vereinfacht den Workflow und die Koordination zwischen Jobs. Wir können die Abhängigkeit zwischen den Jobs für Eingabedaten definieren und daher die Auftragsabhängigkeit mithilfe des Ooze -Schedulers automatisieren.

In diesem Tutorial habe ich installiert Oozie auf meinem Meisterknoten (ich.e. Meister als Hostname und wo Namenode/jt sind installiert) im Produktionssystem sollte Oozie jedoch auf separatem Hadoop -Knoten installiert werden.

Die Installationsanweisungen sind in zwei Teile unterteilt, wir nennen es A Und B.

1. A. Oozie -Installation.
2. B. Oozie -Konfiguration.

Lassen Sie uns zunächst das System Hostname unter Verwendung von folgen überprüfen 'Hostname' Befehl.

[[E -Mail geschützt]]# Hostname Meister

Methode A: Oozie -Installation auf RHEL/Centos 6/5

Wir verwenden offizielles CDH -Repository von Cloudera's Site, um CDH4 zu installieren. Gehen Sie zum offiziellen CDH -Download -Abschnitt und laden Sie CDH4 herunter (i.e. 4.6) Version oder Sie können auch die folgenden verwenden wget Befehl zum Herunterladen des Repositorys und der Installation.

Auf rhel/centos 6

# WGet http: // Archiv.Cloudera.COM/CDH4/One-Click-Installation/Redhat/6/I386/Cloudera-CDH-4-0.i386.rpm # yum-nogpgcheck localinstall cloudera-cdh-4-0.i386.RPM # WGet http: // Archiv.Cloudera.com/cdh4/ein-Klickinstall/Redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm # yum-nogpgcheck localinstall cloudera-cdh-4-0.x86_64.Drehzahl

Auf rhel/centos 5

# WGet http: // Archiv.Cloudera.com/cdh4/ein Klickinstall/Redhat/5/i386/cloudera-cdh-4-0.i386.rpm # yum-nogpgcheck localinstall cloudera-cdh-4-0.i386.RPM # WGet http: // Archiv.Cloudera.com/cdh4/ein-Klick-Installation/Redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm # yum-nogpgcheck localinstall cloudera-cdh-4-0.x86_64.Drehzahl

Einmal haben Sie das CDH -Repository unter Ihrem System hinzugefügt. Sie können den folgenden Befehl verwenden, um Oozie auf dem System zu installieren.

[[E -Mail geschützt] ~]# yum install Oozie

Installieren Sie nun den Oozie -Client (der obige Befehl sollte den Client -Installationsteil abdecken. Wenn nicht, versuchen Sie es jedoch unten).

[[E-Mail geschützt] ~]# yum install Oozie-Client

Notiz: Die obige Installation konfiguriert auch den Oozie -Service, um beim System Startup auszuführen. Gut gemacht! Wir sind mit dem ersten Teil der Installation fertig.

Methode B: Oozie -Konfiguration auf RHEL/Centos 6/5

Da Oozie nicht direkt mit Hadoop interagiert, benötigen wir hier keine zugeordnete Konfiguration.

Vorsicht: Bitte konfigurieren Sie alle Einstellungen, während Oozie nicht ausgeführt wird. Das bedeutet.

Oozie hat ''Derby'Als standardmäßig in DB eingebauter DB würde ich empfehlen, MySQL DB zu verwenden. Lassen Sie uns also die MySQL -Datenbank mit dem folgenden Artikel installieren.

1. Installieren Sie die MySQL -Datenbank in RHEL/Centos 6/5

Sobald Sie mit dem Installationsteil fertig sind, gehen Sie als nächst.

[[E -Mail geschützt] ~]# MySQL -uroot -p eingeben Passwort: Willkommen im MySQL -Monitor. Befehle enden mit; oder \ g. Ihre MySQL -Verbindungs ​​-ID ist 3 Serverversion: 5.5.38 MySQL Community Server (GPL) von REMI Copyright (C) 2000, 2014, Oracle und/oder seine verbundenen Unternehmen. Alle Rechte vorbehalten. Oracle ist eine eingetragene Marke von Oracle Corporation und/oder seinen verbundenen Unternehmen. Andere Namen können Marken ihrer jeweiligen Eigentümer sein. Geben Sie "Hilfe" ein; " oder '\ h' für Hilfe. Geben Sie '\ c' ein, um die aktuelle Eingabeanweisung zu löschen. MySQL> Datenbank erstellen oozie; Abfrage OK, 1 Zeile betroffen (0.00 Sek.) MySQL> Gewähren Sie alle Privilegien für Oozie.* zu 'oozie'@'localhost' identifiziert von 'oozie'; Abfrage OK, 0 Zeilen betroffen (0.00 Sek.) MySQL> Gewähren Sie alle Privilegien für Oozie.* zu 'oozie'@'%' identifiziert von 'oozie'; Abfrage OK, 0 Zeilen betroffen (0.00 Sek.) MySQL> Ausfahrt Tschüss

Konfigurieren Sie als nächstes Oozie -Eigenschaften für MySQL. Offen 'Oozie-Site.xml'Datei und bearbeiten die folgenden Eigenschaften wie gezeigt.

[[E-Mail geschützt] ~]# cd/etc/oozie/conf [[E-Mail geschützt] conf]# vi oozie-Site.xml

Geben Sie die folgenden Eigenschaften ein (ersetzen Sie einfach den Master [meine Hostname] mit Ihrem Hostname).

 Oozie.Service.JPaService.JDBC.Fahrer com.Mysql.JDBC.Fahrer Oozie.Service.JPaService.JDBC.URL JDBC: Mysql: //Meister: 3306/oozie oozie.Service.JPaService.JDBC.Benutzername Oozie Oozie.Service.JPaService.JDBC.Passwort oozie 

Laden Sie die herunter und fügen Sie die hinzu MySQL JDBC Konnektivitätsfahrer Jar zu Oozie Lib Directory. Führen Sie dazu den folgenden schweren Befehl am Terminal aus.

[[E -Mail geschützt] Oozie]# CD/TMP/[[E -Mail geschützt] TMP]# WGet http: // dev.Mysql.com/get/downloads/connector-j/mysql-connector-java-5.1.31.Teer.GZ [[E-Mail geschützt] TMP]# tar-Zxf MySQL-Connector-Java-5.1.31.Teer.GZ [[E-Mail geschützt] TMP]# CD MySQL-Connector-Java-5.1.31 [[E-Mail geschützt] Mysql-Connector-Java-5.1.31]# CP Mysql-Connector-Java-5.1.31-selbst.jar/var/lib/oozie/

Erstellen Sie das Oozie -Datenbankschema, indem Sie die folgenden Befehle ausführen, und beachten Sie, dass dies als Oozie -Benutzer ausgeführt werden sollte.

[[E -Mail geschützt] ~]# sudo -u oozie/usr/lib/oozie/bin/ooziedb.sh Create -run

Probenausgabe

Einstellung von oozie_config =/etc/oozie/conf Setting oozie_data =/var/lib/oozie Einstellung oozie_log =/var/log/oozie Einstellung oozie_catalina_home =/usr/lib/bigtop-tomcat catalina_tmpdir =/var/lib/ooz/ooz/ooz/ooz. /var/run/oozie/oozie.PID-Einstellung Catalina_Base =/usr/lib/oozie/oozie-server-0.20 Einstellung von Catalina_Opts = -xmx1024m Einstellung oozie_https_port = 11443… DURTE OOZIE DB wurde für Oozie Version '3 erstellt.3.2-cdh4.7.0 'Die SQL -Befehle wurden geschrieben an: /TMP/OoziedB-8250405588513665350.sql

Sie müssen herunterladen Extjs lib vom Internet, um die Oozie -Webkonsole zu aktivieren. Gehen Sie zur offiziellen CDH -ExtJS -Seite und laden Sie sie herunter Extjs Ausführung 2.2 Bibliotheken oder Sie können das Paket mit dem folgenden Befehl herunterladen.

[[E -Mail geschützt] ~]# CD/TMP/[[E -Mail -Schutz] TMP]# WGet http: // Archiv.Cloudera.com/gplextras/misc/ext-2.2.ZIP [[E-Mail geschützt] TMP]# Unzip ext-2.2.ZIP [[E-Mail geschützt] TMP]# MV ext-2.2/var/lib/oozie/

Starten Sie schließlich den Oozie -Server, indem Sie folgende Befehle ausführen.

[[E -Mail geschützt] TMP]# Service Oozie Status nicht ausgeführt. [[E -Mail geschützt] TMP]# Service Oozie Start [[E -Mail geschützt] TMP]# Service Oozie Status Auslauf [[E -Mail -geschützt] TMP]# Oozie Admin -oozie http: // localhost: 11000/oozie -status system modus: normal

Öffnen Sie die Oozie UI mit Ihrem Lieblingsbrowser und verweisen Sie auf Ihre IP -Adresse. In diesem Fall ist mein IP 192.168.1.129.

http: // 192.168.1.129: 11000

Wenn Sie diese Benutzeroberfläche sehen. Glückwunsch!! Sie haben Oozie erfolgreich konfiguriert.

Dieses Verfahren wurde erfolgreich getestet Rhel/CentOS 6/5. In meinen kommenden Artikeln werde ich mitteilen, wie Sie Hadoop -Jobs über Oozie konfigurieren und planen können. Bleiben Sie für mehr in Verbindung und vergessen Sie nicht, Ihr Feedback zu kommentieren.