hadoop hdfs 命令行客户端(shell)常用使用命令

通过前文对HDFS的介绍,我们知道hadoop hdfs是一个文件系统,既然是文件系统,就有类似window、linux文件系统一样,hdfs提供了一些常用的shell命令来操作文件系统上的文件与目录。

hadoop hdfs shell命令是在安装目录使用dfs+具体命令的语法来操作文件或目录的。具体语法如下:

./hdfs -dfs + 具体命令

hadoop hdfs 命令

hdfs常用命令:

1、-help命令:输出对应命令参数的相关介绍:

hadoop hdfs 命令

2、-mkdir命令:在hdfs文件系统上创建目录:

./hdfs dfs -mkdir -p /test

3、-ls命令:查看指定目录的信息:

./hdfs dfs -ls /

hdfs -ls命令

4、-moveFromLocal命令:从本地复制文件到指定的hdfs目录下:

./hdfs dfs -moveFromLocal  /usr/local/hadoop-2.10.0/README.txt  /test

hadoop hdfs 命令

5、-appendToFile命令:追加一个文件到已经存在的文件末尾

./hdfs dfs -appendToFile  /usr/local/hadoop-2.10.0/.txt  /test/README.txt

6、-cat命令:显示文件内容

./hdfs dfs -cat /test/README.txt

hadoop hdfs 命令

7、-tail命令:显示一个文件的末尾

./hdfs dfs  -tail  /test/README.txt

8、-text命令:以字符形式打印一个文件的内容

./hdfs dfs  -text  /test/README.txt

9、-chgrp 、-chmod、-chown:修改文件权限命令,用法与linux文件系统中一样

./hdfs dfs  -chmod  666  /README.txt

10、-copyFromLocal命令:从本地文件系统中拷贝文件到hdfs路径去

./hdfs dfs  -copyFromLocal  /usr/local/hadoop-2.10.0/NOTICE.txt  /test

11、-copyToLocal命令:从hdfs文件系统中拷贝到本地文件系统,默认到本地当前路径

./hdfs dfs -copyToLocal /test/NOTICE.txt

hadoop hdfs 命令

12、-cp 命令:从hdfs的一个路径拷贝到hdfs的另一个路径

./hdfs dfs  -cp  /test/NOTICE.txt  /test1/NOTICE.txt

13、-mv命令:在hdfs目录中移动文件到指定目录

./hdfs dfs  -mv  /test/README.txt  /test2

14、-get命令:和copyToLocal命令一样,就是从hdfs下载文件到本地目录

./hdfs dfs -get  /test/NOTICE.txt

15、-getmerge :合并下载多个文件,比如hdfs的目录 /test/下有多个文件:log.1, log.2,log.3,…

./hdfs dfs -getmerge /test/log.* ./log.n

16、-rm命令:删除文件或文件夹

./hdfs dfs -rm -r /test2

hadoop hdfs 命令

17、-rmdir命令:删除空目录

./hdfs dfs  -rmdir   /test1

18、-df命令 :统计文件系统的可用空间信息

./hdfs dfs  -df  -h  /test

19、-du命令:统计文件夹的大小信息

./hdfs dfs  -du  -s  -h /test

20、-count命令:统计文件目录下的文件节点数量

./hdfs dfs -count /test

hadoop hdfs 命令