### Hadoop2安装与常用Shell命令详解#### Hadoop2安装步骤在开始Hadoop2的安装之前，首先需要确保所有节点的操作系统版本为CentOS/Red Hat Linux 6.4_x64，并且每台服务器都已完成基本的系统配置。 #####系统配置1. **主机名设置**： -修改主机名：通过`# hostname ha-nn-001`临时修改当前系统的主机名。 -永久更改主机名：编辑`/etc/sysconfig/network`文件中的`HOSTNAME`值为`ha-nn-001`。 -配置`/etc/hosts`文件来映射主机名和IP地址： ```bash # vi /etc/hosts 192.168.6.239 ha-nn-001 192.168.6.241 ha-nn-002 192.168.6.242 ha-dn-001 192.168.6.243 ha-dn-002 ``` 2. **时间同步**： -配置NTP服务以ha-nn-001为主时钟源： ```bash # vi /etc/ntp.conf server ha-nn-001 ntp ``` -启动并设置NTP服务开机启动： ```bash # chkconfig ntpd on # service ntpd start ``` 3. **安全设置**： -关闭防火墙： ```bash # service iptables stop # chkconfig iptables off ``` -禁用SELinux： ```bash # setenforce 0 # vi /etc/selinux/config SELINUX=disabled ``` #####用户和目录准备1. **创建Hadoop用户组和用户**： -创建`hadoop`用户组： ```bash # groupadd hadoop ``` -创建`hadoop`用户，并将其加入到`hadoop`组中： ```bash # useradd -g hadoop -d /home/hadoop # passwd hadoop ``` -设置`/home/hadoop`目录的所有权： ```bash # chown -R hadoop:hadoop /home/hadoop ``` ##### Hadoop安装1. **解压Hadoop安装包**： -在`/home/hadoop`目录下解压Hadoop安装包： ```bash $ cd /home/hadoop $ tar -zxvf hadoop_v2*.tar.gz ``` 2. **格式化和启动NameNode**（只需在一个节点上执行）： -格式化NameNode： ```bash $ cd hadoop/bin/ $ ./hadoop namenode -format ``` -启动NameNode和ResourceManager： ```bash $ cd hadoop/sbin/ $ ./hadoop-daemon.sh start namenode $ ./yarn-daemon.sh start resourcemanager ``` 3. **启动DataNode和NodeManager**（在每个DataNode上执行）： -在DataNode节点上启动DataNode和NodeManager： ```bash $ ./hadoop-daemon.sh start datanode $ ./yarn-daemon.sh start nodemanager ``` ####常用Hadoop Shell命令1. **查看集群状态**： -使用`jps`命令检查进程是否正常启动： ```bash $ jps 63078 DataNode 63195 NodeManager 63491 Jps ``` -使用`hadoop dfsadmin -report`查看集群报告： ```bash $ hadoop dfsadmin -report ``` 2. **集群管理**： -启动所有Hadoop服务： ```bash $ ./start-all.sh ``` -停止所有Hadoop服务： ```bash $ ./stop-all.sh ``` 3. **Web界面监控**： -访问NameNode和ResourceManager的Web界面，例如： - NameNode: `http://192.168.6.239:50070` - ResourceManager: `http://192.168.6.239:8088` #### Hadoop集群维护1. **SSH配置**： -在每个节点上配置无密码SSH登录，以便于集群内部的通信。 -通过`ssh-keygen`生成公钥和私钥对，然后将公钥复制到其他节点上。 2. **配置`slaves`文件**： -在NameNode节点上的`slaves`文件中列出所有的DataNode节点名称。 3. **集群启停脚本**： -使用`start-all.sh`脚本来启动整个集群。 -使用`stop-all.sh`脚本来停止整个集群。 ####总结本文详细介绍了Hadoop2的安装步骤以及一些常用的Shell命令，包括系统配置、Hadoop用户和目录的准备、Hadoop的安装、集群的启动与维护等。通过这些步骤，你可以成功地搭建起一个功能完备的Hadoop2集群，并利用各种命令来管理和监控这个集群。对于那些希望深入了解Hadoop集群部署和管理的人来说，这些信息将是极其宝贵的资源。