自己在 Hadoop 中老容易输错命令?那你肯定得看看这个笔记,内容整理得挺清楚,都是实际踩坑总结出来的,蛮实用的。

HDFS 命令的拼写坑真不少,比如把hdfs dfsadmin -report live写成hdfsadmin-report-live,少个空格都不行。还有hdfs -mkdir -p /Tipdm/Hadoop也经常被写错,不加-p参数,父目录都建不出来,白忙活。

文件复制的时候也容易懵,hdfs -copyToLocal这个命令得接上源路径和目标路径,不然命令一脸懵逼不搭理你。
比如:hdfs -copyToLocal /opt/a.txt /user/root,清楚明白。

HQL 和 SQL其实挺像,但分区啊、类型转换啥的还是有点不一样的。像select ceil(2.34);这样的小函数,HQL 也能用,还挺方便。

另外,Hive 变量配置HBase 操作ZooKeeper这些内容也都有提,是put 'users', 'XIAOMING', 'info:age', 29这种更新语法,写错一个引号就报错,还是得小心点。

讲到MapReduce 的输出排序,这个也经常被忽略,实际上它是在 Shuffle 阶段就排好了,对你调优程序挺有。

如果你刚开始摸 Hadoop,或者总记不清命令,真的可以收藏一份这份资源,踩坑少一半不是梦: