Hadoop -Befehle zum Verwalten von Dateien auf HDFs

In diesem Tutorial können Sie lernen, unsere Dateien auf HDFs in Hadoop zu verwalten. Sie lernen, wie Sie Inhalte in HDFs erstellen, hochladen, herunterladen und listen. Die folgenden Befehle helfen Ihnen beim Erstellen einer Verzeichnisstruktur in HDFs, kopieren Sie Dateien vom lokalen Dateisystem zu HDFs und laden Sie Dateien von HDFs auf lokale Dateien herunter. Auch wie man Dateien in HDFs verwaltet.

Erstellen Sie ein Verzeichnis in HDFs

Nimmt den Pfad URI wie ein Argument und erstellt ein Verzeichnis oder mehrere Verzeichnisse.

HDFS DFS -MKDIR  

Denken Sie daran, dass Sie mit dem Benutzernamen Ihres Systems ein Heimverzeichnis in HDFs erstellen müssen. Beispiel

HDFS DFS -MKDIR/User/HDUSER HDFS DFS -MKDIR/User/HDUSER/Eingabe HDFS DFS -MKDIR/User/HDUSER/Ausgabe HDFS DFS -MKDIR/User/HDuser/Eingabe/TEXT/text/hadoop/xml/xml/xml/xml/xml/xml 

Kopieren Sie Dateien in HDFs

Legen Sie nach dem Erstellen der Verzeichnisstruktur einige Dateien von Ihrem lokalen Dateisystem aus HDFs aus.

HDFS DFS -Put local_file hdfs_path 

Zum Beispiel haben Sie Test1.txt im aktuellen Verzeichnis und /tmp/test2.xml Auf Ihrem lokalen Dateisystem.

HDFS DFS -PUT -Text1.txt/user/hduser/input/text/hdfs dfs -put/tmp/text2.xml/user/hduser/input/xml/ 

Listen Sie Dateien von HDFs auf

Verwenden Sie die folgenden Beispielbefehle, um den Inhalt des Verzeichnisses in HDFs aufzulisten.

HDFS DFS -LS/User/HDUSER HDFS DFS -LS/User/HDUSER/Eingabe/HDFS DFS -LS/User/HDuser/Eingabe/Text/HDFS 

Verwenden Sie -r, um Dateien in Verzeichnissen rekursiv aufzulisten. Zum Beispiel:

HDFS DFS -ls -r/user/hadoop/input/ 

Laden Sie Dateien von HDFs herunter

Zu diesem Zeitpunkt haben Sie gelernt, wie Sie Dateien kopieren und in HDFs listen. Verwenden Sie nun folgende Beispielbefehle zum Herunterladen/Kopieren von Dateien von HDFs in das lokale Dateisystem.

HDFS DFS -get/user/hduser/input/text/test1.txt/tmp/hdfs dfs -get/user/hadoop/dir1/xml/test2.xml /tmp / 

Hier /tmp befindet sich auf dem lokalen Dateisystem des Systems.

Kopieren Sie Dateien zwischen HDFS -Verzeichnissen

Sie können die Dateien einfach zwischen dem HDFS -Dateisystem mithilfe der DISTCP -Option kopieren.

hdfs distcp/user/hduser/input/xml/text2.xml/user/hduser/output hdfs distcp/user/hduser/input/text/text11.XML/Benutzer/HDUSER/Ausgabe