Redhat6.5+CDH5.7.0搭建遇到的坑在搭建CDH5.7.0集群时,需要注意以下几点: 1.配置hosts和network为全域名:在集群中,每个节点的hostname都应该是全域名的形式,以便于节点之间的通信。在/etc/hosts文件中添加节点的IP地址和hostname的映射关系。 2.关闭防火墙和selinux:防火墙和selinux可能会阻止节点之间的通信,需要关闭防火墙和selinux,以便于节点之间的通信。 3.配置集群免秘钥登录:在集群中,需要配置免秘钥登录,以便于节点之间的无密码通信。可以使用ssh-keygen命令生成秘钥,并将公钥添加到authorized_keys文件中。 4.安装依赖包:在安装CDH5.7.0之前,需要安装一些依赖包,包括chkconfig、python、bind-utils、psmisc、libxslt、zlib、sqlite、cyrus-sasl-plain、cyrus-sasl-gssapi、fuse-libs、redhat-lsb等。 5.安装JDK:CDH5.7.0需要JDK 6或更高版本的支持,可以使用yum install命令安装JDK。 6.配置NTP服务:NTP服务用于同步节点之间的时间,可以使用ntpdate命令同步时间,并将NTP服务添加到系统服务中。 7.检查依赖包:在安装CDH5.7.0之前,需要检查依赖包的安装情况,可以使用rpm -qa命令检查依赖包的安装情况。 8.解决服务器报错问题:在启动server时可能会出现报错,可以使用ps ax命令检查supervisord进程的存在,并kill掉该进程。也可以使用alternatives命令检查配置日志信息。 9.解决agent报错问题:在启动agent时可能会出现报错,可以使用ps ax命令检查supervisord进程的存在,并kill掉该进程。也可以使用alternatives命令检查配置日志信息。 10.解决hostname和IP对应不上的问题:在集群中,每个节点的hostname都应该是全域名的形式,以便于节点之间的通信。如果hostname和IP对应不上,可能会导致节点之间的通信出现问题。 11.解决scm数据库连接问题:在使用scm数据库时,需要确保hostname和IP对应正确,否则可能会导致连接问题。 12.解决kafka下载失败问题:在下载kafka时,可能会出现下载失败的问题,可以检查网络连接情况,并尝试重新下载。通过遵循以上步骤,可以避免在搭建CDH5.7.0集群时出现的常见问题,并确保集群的稳定运行。