Hadoop 环境的搭建,还是 Ubuntu 下搞起来最顺手。Java 环境先装好,用gedit /etc/environment配置变量,激活一下就能用了,挺直接的。把Hadoop 2.7.4拉到/usr/soft,解压配置路径,验证下版本,基本就能跑起来了。
最推荐新手搞个伪分布模式,几个 XML 文件改一改,跑个小集群测试也挺香。需要注意的是,SSH 免密登录必须配好,不然节点之间通讯直接卡死。用ssh-keygen生成密钥,再把公钥加进authorized_keys里就搞定了。
跑个 MapReduce 程序验证下结果,像hadoop fs -ls /output这类命令多用几次就熟练了。这套流程比较适合练手+测试,跑大数据任务前先折腾清楚这些。