So installieren Sie Apache Kafka auf Ubuntu 20.04

Apache Kafka ist eine von der Apache Software Foundation entwickelte Open-Source-Plattform für verteilte Event-Streaming-Plattform. Dies ist in Scala- und Java -Programmiersprachen geschrieben. Sie können Kafka auf jeder Plattform installieren, die Java unterstützt.

In diesem Tutorial wurde Sie ein Schritt-für-Schritt-Tutorial zur Installation von Apache Kafka auf Ubuntu 20 installiert.04 LTS Linux -System. Sie lernen auch, Themen in Kafka zu erstellen und Produzent und Verbraucherknoten zu führen.

Voraussetzungen

Sie müssen sudo privilegiertes Konto Zugriff auf die Ubuntu 20 haben.04 Linux -System.

Schritt 1 - Java installieren

Apache Kafka kann auf allen von Java unterstützten Plattformen ausgeführt werden. Um Kafka auf dem Ubuntu -System einzurichten, müssen Sie zuerst Java installieren. Wie wir wissen, ist Oracle Java jetzt im Handel erhältlich, sodass wir seine Open-Source-Version OpenJDK verwenden.

Führen Sie den folgenden Befehl aus, um OpenJDK auf Ihrem System von den offiziellen PPAs zu installieren.

sudo APT aktualisieren sudo apt installieren Sie Standard-JDK 

Überprüfen Sie die aktuelle aktive Java -Version.

Java -Version  OpenJDK -Version "11.0.9.1 "2020-11-04 OpenJDK Runtime Environment (Build 11.0.9.1+1-UBUNTU-0UBUNTU1.20.04) OpenJDK 64-Bit Server VM (Build 11.0.9.1+1-UBUNTU-0UBUNTU1.20.04, gemischter Modus, Freigabe) 

Schritt 2 - Laden Sie die neueste Apache Kafka herunter

Laden Sie die Apache Kafka -Binärdateien von der offiziellen Download -Website herunter. Sie können auch einen beliebigen Mirror in der Nähe auswählen, um herunterzuladen.

WGet https: // dlcdn.Apache.org/kafka/3.2.0/kafka_2.13-3.2.0.TGZ  

Dann extrahieren Sie die Archivdatei

TAR XZF KAFKA_2.13-3.2.0.TGZ  sudo mv kafka_2.13-3.2.0/usr/local/kafka  

Schritt 3 - Erstellen von Systemd -Einheiten -Dateien

Jetzt müssen Sie Systemd -Einheitsdateien für die Dienste für Zookeeper und Kafka erstellen. Dies hilft Ihnen, den Kafka -Service auf einfache Weise zu starten/zu stoppen.

Erstellen Sie zunächst eine Systemd -Einheitsdatei für Zookeeper:

vim/etc/systemd/system/zookeeper.Service 

Und fügen Sie den folgenden Inhalt hinzu:

[Einheit] Beschreibung = Apache Zookeeper Server -Dokumentation = http: // zookeeper.Apache.org erfordert = Netzwerk.Ziel-Remote-FS.Ziel nach = Netzwerk.Ziel-Remote-FS.Ziel [Service] type = einfacher execstart =/usr/local/kafka/bin/zookeeper-server-start.sh/usr/local/kafka/config/zookeeper.Eigenschaften execStop =/usr/local/kafka/bin/zookeeper-server-stop.sh restart = on-abnormal [install] suchtby = multi-user.Ziel 

Speichern Sie die Datei und schließen Sie sie.

Als nächstes erstellen Sie eine Systemd -Einheitsdatei für den Kafka -Dienst:

vim/etc/systemd/system/kafka.Service 

Fügen Sie den folgenden Inhalt hinzu. Stellen Sie sicher, dass Sie den richtigen Stellen einstellen Java_Home Pfad gemäß den auf Ihrem System installierten Java.

[Einheit] Beschreibung = Apache Kafka Server -Dokumentation = http: // kafka.Apache.Org/Dokumentation.HTML erfordert = Zookeeper.Service [Service] type = einfache Umgebung = "Java_Home =/usr/lib/jvm/java-1.11.0-openjdk-amd64 "execstart =/usr/local/kafka/bin/kafka-server-start.sh/usr/local/kafka/config/server.Eigenschaften execStop =/usr/local/kafka/bin/kafka-server-stop.sh [install] wantby by = multi-user.Ziel 

Speichern Sie die Datei und schließen Sie.

Laden Sie den Systemd -Daemon neu, um neue Änderungen anzuwenden.

Systemctl Daemon-Relada 

Schritt 4 - Start Kafka und Zookeeper Service

Zuerst müssen Sie den Zookeeper -Service starten und dann Kafka starten. Verwenden Sie den Befehl systemCTL, um eine Zookeeper-Instanz einzelner Knoten zu starten.

sudo systemctl starten zookeeper 

Starten Sie nun den Kafka -Server und sehen Sie sich den laufenden Status an:

sudo systemctl start kafka sudo systemctl Status kafka 

Alles erledigt. Die Kafka -Installation wurde erfolgreich abgeschlossen. Der Teil dieses Tutorials hilft Ihnen, mit dem Kafka -Server zusammenzuarbeiten.

Schritt 5 - Erstellen Sie ein Thema in Kafka

Kafka bietet mehrere vorgefertigte Shell-Skripte, um daran zu arbeiten. Erstellen Sie zunächst ein Thema mit dem Namen "Testtopic" mit einer einzelnen Partition mit einer einzigen Replik:

CD/USR/LOCAL/KAFKA BIN/KAFKA-Topics.sh-create-Bootstrap-server localhost: 9092-Replikationsfaktor 1-Partitionen 1--Topic Testtopic erstellt Topic Testtopic. 

Der Replikationsfaktor beschreibt, wie viele Kopien von Daten erstellt werden. Wenn wir mit einer einzigen Instanz laufen, behalten Sie diesen Wert 1.

Legen Sie die Partitionsoptionen als Anzahl der Makler fest, die Ihre Daten zwischen aufgeteilt werden sollen. Da wir mit einem einzigen Broker laufen, behalten Sie diesen Wert 1.

Sie können mehrere Themen erstellen, indem Sie denselben Befehl wie oben ausgeführt haben. Danach sehen Sie die erstellten Themen auf Kafka, indem Sie den Befehl unter unten lief:

Bin/Kafka-Topics.SH-List-Bootstrap-Server localhost: 9092 [Ausgang] Testtopic 

Alternativ können Sie Ihre Makler auch manuell manuell erstellen, um Themen automatisch zu erstellen, wenn ein nicht existierendes Thema veröffentlicht wird.

Schritt 6 - Senden und empfangen Nachrichten in Kafka

Der „Produzent“ ist der Prozess, der dafür verantwortlich ist, Daten in unsere Kafka zu setzen. Der Kafka wird mit einem Befehlslinienclient geliefert, der Eingaben aus einer Datei oder aus Standardeingaben übernimmt und als Nachrichten an den Kafka-Cluster versendet. Der Standard -Kafka sendet jede Zeile als separate Nachricht.

Lassen Sie uns den Produzenten ausführen und dann ein paar Nachrichten in die Konsole eingeben, um sie an den Server zu senden.

Bin/Kafka-Console-Produzent.SH-BROKER-LIST LOCALHOST: 9092--Topic Testtopic> Willkommen bei Kafka> Dies ist mein erstes Thema> 

Sie können diesen Befehl beenden oder dieses Terminal für weitere Tests laufen. Eröffnen Sie nun im nächsten Schritt ein neues Terminal für den Kafka -Verbraucherprozess.

Schritt 7 - Mit Kafka -Verbraucher

Kafka verfügt außerdem über einen Befehlszeilenverbraucher, mit dem Daten aus dem Kafka-Cluster gelesen und Nachrichten auf die Standardausgabe angezeigt werden können.

Bin/Kafka-Console-Consumer.SH-Bootstrap-Server localhost: 9092--topic Testtopic-From-Beinginning Willkommen bei Kafka Dies ist mein erstes Thema 

Wenn Sie jetzt noch Kafka -Produzent (Schritt 6) in einem anderen Terminal betreiben. Geben Sie einfach einen Text in dieses Erzeugerterminal ein. Es wird sofort am Verbraucherterminal sichtbar sein. Siehe den folgenden Screenshot des Kafka -Produzenten und des Verbrauchers in der Arbeit:

Abschluss

Dieses Tutorial hat Ihnen geholfen, den Apache Kafka -Dienst auf einem Ubuntu -System zu installieren und zu konfigurieren. Darüber hinaus haben Sie gelernt, ein neues Thema auf dem Kafka -Server zu erstellen und mit Apache Kafka einen Beispielproduktions- und Verbraucherprozess auszuführen.