Hadoop 和 Spark 节点突然不显示?别急,遇到这种情况还挺常见的,尤其是在搞分布式集群的时候。资源连不上、版本不兼容、配置文件少写一行,都是罪魁祸首。这里有一篇文章,手把手教你排查和,写得还蛮清楚的,不是那种看完还是一头雾水的类型。
像spark-defaults.conf
和slaves
文件,多人第一次配的时候容易漏,要是节点跑不起来,先去那俩地方看看写没写对。还有网络防火墙那块,别忘了检查端口是不是被拦了。
你如果是用的Hadoop 3.2配Spark 3.x,建议也顺手看看这几个相关资源,都是我自己用过觉得还不错的:
- Spark 3.0.1 for Hadoop 3.2 —— 版本适配靠谱,装完基本就能跑
- Spark 与 Hadoop 适配版本 —— 不确定哪个版本配哪个?看这个就行
- Apache Hadoop 两节点集群搭建教程 —— 小白也能照着搞定
- Hadoop2.9.2+Spark2.4.8 安装手册 —— 老版本项目维护也能用得上
哦对了,如果你在CentOS 7
上装环境,还可以顺便看看这个搭建教程:Spark 单节点环境搭建,挺实用的。
如果你已经排查了一圈,节点还不显示,那是调度任务出了问题。看看这个调度任务显示失败问题修复,说不定就对症了。
,这一套资源下来,基本啥坑都帮你踩过了。如果你也在搞 Hadoop 和 Spark 的集群环境,建议收藏一下,用得上。