Hadoop-2.8.1 配 Zookeeper-3.4.6 的 HA 集群搭建指南,真的是一份比较实用的部署文档,尤其适合你刚开始折腾高可用环境的时候参考。它把各组件的兼容性、主机和目录规划都讲得挺细,照着配基本不会出大坑。

版本兼容性的那部分挺重要,比如用的CentOS 6.5JRE 1.8.0_45,这些版本组合比较稳,少踩坑。而且也贴心地教你怎么确认操作系统版本、位数这些小细节。

主机规划这块你会看到 IP、主机名、服务分配都列清楚了。比如hadoop001上跑着NameNodeResourceManager这些主要进程,都是 HA 模式,失效转移也有备份顶上。

目录结构那段建议你别跳过。$HADOOP_HOME/data/logs/tmp这些目录路径分得清晰,权限怎么设也都写好了,尤其tmpchmod 777,这个坑别忘了填。

启动脚本部分算是蛮实用的,像zkServer.sh startstart-all.sh这些命令你以后用得会比较频繁,建议熟练一点,省得每次翻文档。

监控方式也比较全,除了命令行的hdfs dfsadmin -report,还有几个 Web 页面直接打开就能看集群状态,地址也给出来了,挺方便的。

如果你正准备搭个Hadoop HA环境,或者想捋清楚集群部署流程,这篇文档还挺值得收藏的。照着来,一步步基本能搭起来。