Hadoop - Operazioni HDFS

Avvio di HDFS

Inizialmente è necessario formattare il file system HDFS configurato, aprire namenode (server HDFS) ed eseguire il comando seguente.

$ hadoop namenode -format

Dopo aver formattato l'HDFS, avvia il file system distribuito. Il seguente comando avvierà il namenode così come i nodi di dati come cluster.

$ start-dfs.sh

Elenco dei file in HDFS

Dopo aver caricato le informazioni nel server, possiamo trovare l'elenco dei file in una directory, lo stato di un file, utilizzando ‘ls’. Di seguito è riportata la sintassi dils che puoi passare a una directory oa un nome di file come argomento.

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

Inserimento di dati in HDFS

Supponiamo di avere dati nel file chiamato file.txt nel sistema locale che dovrebbe essere salvato nel file system hdfs. Seguire i passaggi indicati di seguito per inserire il file richiesto nel file system Hadoop.

Passo 1

Devi creare una directory di input.

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

Passo 2

Trasferisci e archivia un file di dati dai sistemi locali al file system Hadoop utilizzando il comando put.

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

Passaggio 3

Puoi verificare il file usando il comando ls.

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

Recupero dei dati da HDFS

Supponiamo di avere un file in HDFS chiamato outfile. Di seguito è riportata una semplice dimostrazione per recuperare il file richiesto dal file system Hadoop.

Passo 1

Inizialmente, visualizza i dati da HDFS utilizzando cat comando.

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

Passo 2

Ottieni il file da HDFS al file system locale utilizzando get comando.

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

Arresto di HDFS

È possibile arrestare l'HDFS utilizzando il seguente comando.

$ stop-dfs.sh