Hadoop - Riferimento ai comandi
Ci sono molti altri comandi in "$HADOOP_HOME/bin/hadoop fs"di quanto mostrato qui, sebbene queste operazioni di base ti consentiranno di iniziare. L'esecuzione di ./bin/hadoop dfs senza argomenti aggiuntivi elencherà tutti i comandi che possono essere eseguiti con il sistema FsShell. Inoltre,$HADOOP_HOME/bin/hadoop fs -help commandName mostrerà un breve riepilogo dell'utilizzo per l'operazione in questione, se sei bloccato.
Di seguito è riportata una tabella di tutte le operazioni. Per i parametri vengono utilizzate le seguenti convenzioni:
"<path>" means any file or directory name.
"<path>..." means one or more file or directory names.
"<file>" means any filename.
"<src>" and "<dest>" are path names in a directed operation.
"<localSrc>" and "<localDest>" are paths as above, but on the local file system.Tutti gli altri file e nomi di percorso si riferiscono agli oggetti all'interno di HDFS.
| Suor n | Comando e descrizione |
|---|---|
| 1 | -ls <path> Elenca il contenuto della directory specificata dal percorso, mostrando i nomi, i permessi, il proprietario, le dimensioni e la data di modifica per ciascuna voce. |
| 2 | -lsr <path> Si comporta come -ls, ma visualizza in modo ricorsivo le voci in tutte le sottodirectory di path. |
| 3 | -du <path> Mostra l'utilizzo del disco, in byte, per tutti i file che corrispondono al percorso; i nomi dei file vengono riportati con il prefisso del protocollo HDFS completo. |
| 4 | -dus <path> Come -du, ma stampa un riepilogo dell'utilizzo del disco di tutti i file / directory nel percorso. |
| 5 | -mv <src><dest> Sposta il file o la directory indicata da src in dest, all'interno di HDFS. |
| 6 | -cp <src> <dest> Copia il file o la directory identificata da src in dest, all'interno di HDFS. |
| 7 | -rm <path> Rimuove il file o la directory vuota identificata dal percorso. |
| 8 | -rmr <path> Rimuove il file o la directory identificata dal percorso. Elimina in modo ricorsivo tutte le voci figlio (ad esempio, file o sottodirectory del percorso). |
| 9 | -put <localSrc> <dest> Copia il file o la directory dal file system locale identificato da localSrc a dest all'interno di DFS. |
| 10 | -copyFromLocal <localSrc> <dest> Identico al -put |
| 11 | -moveFromLocal <localSrc> <dest> Copia il file o la directory dal file system locale identificato da localSrc a dest all'interno di HDFS, quindi elimina la copia locale in caso di esito positivo. |
| 12 | -get [-crc] <src> <localDest> Copia il file o la directory in HDFS identificato da src nel percorso del file system locale identificato da localDest. |
| 13 | -getmerge <src> <localDest> Recupera tutti i file che corrispondono al percorso src in HDFS e li copia in un unico file unito nel file system locale identificato da localDest. |
| 14 | -cat <filen-ame> Visualizza il contenuto di filename su stdout. |
| 15 | -copyToLocal <src> <localDest> Identico a -get |
| 16 | -moveToLocal <src> <localDest> Funziona come -get, ma elimina la copia HDFS in caso di successo. |
| 17 | -mkdir <path> Crea una directory denominata path in HDFS. Crea tutte le directory padre nel percorso che mancano (ad esempio, mkdir -p in Linux). |
| 18 | -setrep [-R] [-w] rep <path> Imposta il fattore di replica di destinazione per i file identificati dal percorso di rep. (Il fattore di replica effettivo si sposterà verso l'obiettivo nel tempo) |
| 19 | -touchz <path> Crea un file nel percorso contenente l'ora corrente come timestamp. Non riesce se un file esiste già nel percorso, a meno che il file non sia già di dimensione 0. |
| 20 | -test -[ezd] <path> Restituisce 1 se il percorso esiste; ha lunghezza zero; o è una directory o 0 altrimenti. |
| 21 | -stat [format] <path> Stampa le informazioni sul percorso. Il formato è una stringa che accetta la dimensione del file in blocchi (% b), nome file (% n), dimensione del blocco (% o), replica (% r) e data di modifica (% y,% Y). |
| 22 | -tail [-f] <file2name> Mostra l'ultimo 1KB di file su stdout. |
| 23 | -chmod [-R] mode,mode,... <path>... Modifica i permessi dei file associati a uno o più oggetti identificati dal percorso .... Esegue le modifiche in modo ricorsivo con R. La modalità è una modalità ottale a 3 cifre, o {augo} +/- {rwxX}. Presume che non sia specificato alcun ambito e non applica una umask. |
| 24 | -chown [-R] [owner][:[group]] <path>... Imposta l'utente e / o il gruppo proprietario per i file o le directory identificati dal percorso .... Imposta il proprietario in modo ricorsivo se si specifica -R. |
| 25 | -chgrp [-R] group <path>... Imposta il gruppo proprietario per i file o le directory identificati dal percorso .... Imposta il gruppo in modo ricorsivo se si specifica -R. |
| 26 | -help <cmd-name> Restituisce le informazioni sull'utilizzo di uno dei comandi sopra elencati. È necessario omettere il carattere iniziale "-" in cmd. |