Hadoop 的 HDFS 操作命令真的挺实用,尤其是在大规模数据集的时候。通过hadoop fs
命令,你可以像在 Linux 下操作文件那样轻松搞定 HDFS 里的各种文件动作。命令格式也统一,灵活性还挺高。
HDFS 的 FS Shell 命令和 Unix 的命令行风格像,刚上手也不难,比如你想看文件内容,用hadoop fs -cat
就搞定了,输出直接走标准输出。想改权限?-chmod
加个-R
就能递归修改整个目录,挺方便的。
路径支持 URI 格式,如果你懒得写全路径,配置里有默认值也可以用相对路径,像/data/input
就能用。操作成功会返回0
,失败才返回-1
,判断起来也直观。
还有像-copyFromLocal
和-copyToLocal
这类命令,专门用来在本地和 HDFS 之间搬文件,和put
、get
差不多,就是要求路径更明确一些。你要是做本地数据迁移,这俩命令别错过。
回收站也有命令清理,-expunge
一下就行,适合做定期清理。大小查看方面,-du
和-dus
分别适合查整个目录或单个文件,用来监控存储用量还挺方便的。
哦对了,如果你对命令细节还不熟,推荐你看看Hadoop Shell 与 HDFS 操作手册,写得挺全,还有例子。
如果你常用 Hadoop,尤其是搞 MapReduce 或 HBase 那一挂的,建议这些hadoop fs
命令熟练掌握,不然光靠图形界面可吃不消。