自己在 Hadoop 中老容易输错命令?那你肯定得看看这个笔记,内容整理得挺清楚,都是实际踩坑总结出来的,蛮实用的。
HDFS 命令的拼写坑真不少,比如把hdfs dfsadmin -report live
写成hdfsadmin-report-live
,少个空格都不行。还有hdfs -mkdir -p /Tipdm/Hadoop
也经常被写错,不加-p
参数,父目录都建不出来,白忙活。
文件复制的时候也容易懵,hdfs -copyToLocal
这个命令得接上源路径和目标路径,不然命令一脸懵逼不搭理你。
比如:hdfs -copyToLocal /opt/a.txt /user/root
,清楚明白。
HQL 和 SQL其实挺像,但分区啊、类型转换啥的还是有点不一样的。像select ceil(2.34);
这样的小函数,HQL 也能用,还挺方便。
另外,Hive 变量配置、HBase 操作、ZooKeeper这些内容也都有提,是put 'users', 'XIAOMING', 'info:age', 29
这种更新语法,写错一个引号就报错,还是得小心点。
讲到MapReduce 的输出排序,这个也经常被忽略,实际上它是在 Shuffle 阶段就排好了,对你调优程序挺有。
如果你刚开始摸 Hadoop,或者总记不清命令,真的可以收藏一份这份资源,踩坑少一半不是梦: