hadoop 集群的节点配置,基本绕不开slaves
文件。这个文件挺简单,但作用不小。只要把要作为DataNode
的主机名一行行写进去,启动的时候start-dfs.sh
就会自动连上它们,方便又省事。
默认的slaves
文件路径是$HADOOP_HOME/etc/hadoop/slaves
,格式也清爽:每行一个主机名,别加端口,别加注释,干净利落最好。比如你有三台机器:
node1
node2
node3
写好之后,用scp
或者配置好ssh 免密
,整个集群就能愉快运作了。嗯,别忘了所有节点都得装好Hadoop
,版本要一致,路径也别乱搞。
我比较推荐你配完之后用jps
检查下每个节点,确认DataNode
和NodeManager
都跑起来了。响应也快,日志也清晰,出问题好排查。
如果你对Hadoop
的配置文件还不熟,可以顺便看看这篇Hadoop 默认配置文件的文章,挺全的,初学者看也不吃力。
如果你刚搭集群,slaves
文件记得别写错主机名,DNS 不通或者/etc/hosts
没配好,启动时你会一脸懵的。