Erstellen eines Verzeichnisses in HDFs und Kopieren von Dateien (Hadoop)

HDFS ist der Hadoop verteiltes Dateisystem. Es ist ein verteiltes Speichersystem für große Datensätze, das Fehlertoleranz, hohen Durchsatz und Skalierbarkeit unterstützt. Es funktioniert, indem Daten in Blöcke aufgeteilt werden, die über mehrere Maschinen in einem Cluster repliziert werden. Die Blöcke können parallel an oder ausgelesen werden, was hohe Durchsatz- und Fehlertoleranz erleichtert. HDFS bietet eine raidähnliche Redundanz mit automatischem Failover. HDFs unterstützt auch Komprimierung, Replikation und Verschlüsselung.

Der häufigste Anwendungsfall für HDFs ist das Speichern großer Datensammlungen wie Bild- und Videodateien, Protokolle, Sensordaten usw.

Erstellen einer Verzeichnisstruktur mit HDFs

Das Befehlszeilen -Dienstprogramm „HDFS“ ist unterhalb der Untersuchung erhältlich $ Hadoop_home/bin Verzeichnis. Unter der Annahme, dass das Hadoop -Bin -Verzeichnis bereits in enthalten ist WEG Umgebungsvariable. Melden Sie sich nun als Hadoop -Benutzer an und befolgen Sie die Anweisungen.

1. Ein ... kreieren /Daten Verzeichnis im HDFS -Dateisystem. Ich bin bereit, dieses Verzeichnis zu verwenden, um alle Daten der Anwendungen zu enthalten.

   HDFS DFS -MKDIR /Daten  

2. Ein anderes Verzeichnis erstellen /var/log, Das enthält alle Protokolldateien. Da das /var -Verzeichnis auch nicht existiert, verwenden Sie -P um auch ein übergeordnetes Verzeichnis zu erstellen.

   HDFS DFS -mkdir -p /var /log /log  

3. Sie können auch Variablen während der Verzeichniserstellung verwenden. Erstellen Sie beispielsweise ein Verzeichnis mit demselben Namen wie der derzeit angemeldete Benutzer. Dieses Verzeichnis kann verwendet werden, um die Daten des Benutzers zu enthalten.

   HDFS DFS -MKDIR -P /Benutzer /$ Benutzer  

Ändern der Dateiberechtigungen mit HDFs

Sie können auch die Eigentümer des Dateien sowie die Berechtigung im HDFS -Dateisystem ändern.

• Um den Dateibesitzer und der Gruppenbesitzer zu ändern, verwenden Sie die -Chown Befehlszeilenoption:

  HDFS DFS -chown -r $ hadoop_user: $ hadoop_user /user /hadoop  

• Um die Dateiberechtigung zu ändern, verwenden Sie die -Chmod Befehlszeilenoptionen.

  HDFS DFS -CHMOD -R 775 /Benutzer /Hadoop 

Kopieren von Dateien in HDFs

Der HDFS Befehl bietet -erhalten Und -setzen Parameter zum Kopieren von Dateien nach/aus dem HDFS -Dateisystem.

• Zum Beispiel, um eine einzelne Datei von lokal nach HDFS -Dateisystem zu kopieren:

  HDFS DFS -PUT ~/Testdatfile.txt/var/log/  

• Kopieren Sie mehrere Dateien, ebenso wie Verzeichnisbaum mit den Wildcard -Zeichen.

  HDFS DFS -put ~/log/*/var/log/  

Auflistung von Dateien in HDFs

Während der Arbeit mit dem Hadoop -Cluster können Sie Dateien unter dem HDFS -Dateisystem über die Befehlszeile sowie die GUI anzeigen.

• Verwenden Sie das -ls Option mit HDFs, um Dateien im HDFS -Dateisystem aufzulisten. Zum Beispiel, um alle Dateien in der Verwendung von Root -Verzeichnissen aufzulisten:

  HDFS DFS -LS /  

• Der gleiche Befehl kann verwendet werden, um Dateien auch von Unterverzeichnissen aufzulisten.

  HDFS DFS -LS /Benutzer /Hadoop  

  Sie sollten die folgende Ausgabe erhalten:

  Listen Sie Dateien in HDFs auf

• Hadoop bietet anstelle der Befehlszeile auch einen grafischen Explorer zum Anzeigen, Herunterladen und Hochladen von Dateien. Durchsuchen Sie das HDFS -Dateisystem am folgenden URL auf dem NAMENODE -Port:

  http: // localhost: 9870/explorerer.html

  Durchsuchen Sie Dateien in HDFs

Abschluss

HDFS unterstützt auch eine Reihe anderer Anwendungen wie MapReduce -Jobs, die große Datenmengen sowie Benutzerauthentifizierungs- und Zugriffskontrollmechanismen verarbeiten. HDFs können auch mit anderen verteilten Dateisystemen wie S3 und Swift kombiniert werden, um Hybrid-Cloud-Lösungen zu erstellen, die eine hohe Verfügbarkeit und niedrige Latenz mit kostengünstigem Speicher kombinieren.

In diesem Artikel haben Sie gelernt, eine Verzeichnisstruktur im HDFS -Dateisystem zu erstellen, Berechtigungen zu ändern und Dateien mit HDFS zu kopieren und aufzulisten.