So installieren und setzen Sie Apache Spark auf Ubuntu/Debian ein und setzen Sie

Apache Funken ist ein Open-Source-verteiltes Rechenrahmen, das erstellt wurde, um schnellere Rechenergebnisse zu liefern. Es handelt sich um eine In-Memory-Computer-Engine, dh die Daten werden im Speicher verarbeitet.

Funke Unterstützt verschiedene APIs für Streaming, Diagrammverarbeitung, SQL, Mllib. Es unterstützt auch Java, Python, Scala und R als bevorzugte Sprachen. Spark ist größtenteils in Hadoop -Clustern installiert, aber Sie können Spark auch im Standalone -Modus installieren und konfigurieren.

In diesem Artikel werden wir sehen, wie man installiert Apache Funken In Debian Und Ubuntu-basierte Verteilungen.

Installieren Sie Java und Scala in Ubuntu

Installieren Apache Funken In Ubuntu müssen Sie haben Java Und Scala auf Ihrem Computer installiert. Die meisten modernen Verteilungen werden mit Java ausgestattet, die standardmäßig installiert sind, und Sie können sie mithilfe des folgenden Befehls überprüfen.

$ Java -Version 

Wenn Sie keine Ausgabe haben, können Sie Java mit unserem Artikel über die Installation von Java auf Ubuntu installieren oder einfach die folgenden Befehle ausführen, um Java auf Ubuntu und Debian-basierte Verteilungen zu installieren.

$ sudo apt update $ sudo Apt Installieren Sie Standard -Jre $ java -Version 

Als nächstes können Sie installieren Scala Aus dem APT -Repository, indem Sie die folgenden Befehle ausführen, um nach Scala zu suchen und zu installieren.

$ sudo APT -Suche Scala ⇒ Suchen Sie nach dem Paket $ sudo APT Install Scala ⇒ Installieren Sie das Paket 

Um die Installation von zu überprüfen Scala, Führen Sie den folgenden Befehl aus.

$ scala -Version Scala Code Runner Version 2.11.12-Copyright 2002-2017, Lampe/EPFL 

Installieren Sie Apache Spark in Ubuntu

Gehen Sie nun zur offiziellen Apache -Spark -Download -Seite und holen Sie sich die neueste Version (ich.e. 3.1.1) Zum Zeitpunkt des Schreibens dieses Artikels. Alternativ können Sie den Befehl wGet verwenden, um die Datei direkt im Terminal herunterzuladen.

$ wget https: // apachemirror.Wuchna.com/Spark/Spark-3.1.1/Spark-3.1.1-bin-hadoop2.7.TGZ 

Öffnen Sie nun Ihr Terminal und wechseln Sie zu dem Ort, an dem Ihre heruntergeladene Datei platziert ist, und führen Sie den folgenden Befehl aus, um die Apache -Spark -Tar -Datei zu extrahieren.

$ tar -xvzf spark -3.1.1-bin-hadoop2.7.TGZ 

Schließlich bewegen Sie den extrahierten Extrahieren Funke Verzeichnis an /opt Verzeichnis.

$ sudo MV Spark-3.1.1-bin-hadoop2.7 /opt /Spark 

Konfigurieren Sie Umgebungsvariablen für Spark

Jetzt müssen Sie einige Umgebungsvariablen in Ihre festlegen .Profil Datei vor dem Starten des Funken.

$ echo "export spark_home =/opt/spark" >> ~/.Profil $ echo "Exportpfad = $ path:/opt/spark/bin:/opt/spark/sbin" >> ~/.Profil $ echo "exportieren pyspark_python =/usr/bin/python3" >> ~/.Profil 

Um sicherzustellen, dass diese neuen Umgebungsvariablen innerhalb der Shell erreichbar sind und Apache Spark verfügbar sind, ist es auch obligatorisch, den folgenden Befehl auszuführen, um die jüngsten Änderungen in Kraft zu setzen.

$ source ~/.Profil 

Alle funkenbezogenen Binärdateien, um die Dienste unter dem zu starten und zu stoppen sbin Ordner.

$ ls -l /opt /Spark 

Starten Sie Apache Spark in Ubuntu

Führen Sie den folgenden Befehl aus, um die zu starten Funke Master -Service und Sklavenservice.

$ Start-Master.Sh $ Start-Mitarbeiter.SH Spark: // localhost: 7077 

Sobald der Dienst gestartet ist. Auf der Seite können Sie sehen, dass mein Meister- und Sklavenservice gestartet wird.

http: // localhost: 8080/oder http: // 127.0.0.1: 8080 

Sie können auch überprüfen, ob Funkenschale Funktioniert gut, indem Sie die starten Funkenschale Befehl.

$ Spark-Shell 

Das war's für diesen Artikel. Wir werden Sie bald mit einem anderen interessanten Artikel erwischen.