hadoop2.4 的伪分布式搭建,配置文件是关键,改得顺,系统就跑得稳。你要是刚接触 Hadoop,又不想一上来就搞全分布式,那这套方法还挺适合练手的。
修改core-site.xml
里的fs.defaultFS
,设成hdfs://localhost:9000
,就能让系统认得你的 NameNode。别忘了同步改hdfs-site.xml
,像dfs.replication
,单机就设 1,不然报错也是常事。
YARN那块配置也别落下,yarn-site.xml
里得写上yarn.resourcemanager.hostname
。还有mapred-site.xml
,用yarn
作为mapreduce.framework.name
,不然 Job 提交不了。
调试完记得格式化 NameNode,执行hdfs namenode -format
。再起服务,一个start-dfs.sh
,一个start-yarn.sh
,浏览器里开http://localhost:50070
看看状态就知道行不行了。
你要是想多看看别人怎么配的,我这有几个链接挺实用的:
- Hadoop 伪分布式配置文件
- Hadoop 伪分布式环境配置教程
- Yarn 3.1.3 伪分布式部署配置
- 伪分布式安装指南
- Zookeeper 伪分布式安装脚本
- Ubuntu 14.04 搭建 Hadoop 2.6.0
- Ubuntu 虚拟机配置及 WordCount 实例
如果你是在虚拟机上玩,那记得分配点内存,至少 2G,不然跑着跑着就挂了哦~