本次的大数据实验总结报告涵盖了对多个大数据组件的配置和部署经验，从torque到hbase，涉及了实验的概述、配置细节、安装步骤、环境配置及心得体会等关键知识点。实验的核心在于搭建一个高效的大数据处理平台，以支撑大数据的存储、计算及分析任务。 ###实验概述实验的目的是在五台主机上分别配置torque、mpich、mongodb、hadoop、zookeeper和hbase，并将它们集成到一个集群环境中。实验过程涵盖了集群的搭建、测试以及问题的排查解决。 ### torque配置Torque是一个集群资源管理器，提供了集群的调度、资源监控等功能。配置过程包括安装server和客户端，设置master和slave节点，以及创建并管理队列。配置torque时，要注意主从环境的不同配置需求，确保主节点与从节点之间能够正确通信。 ### mpich配置Mpich是一个消息传递接口库，用于构建高性能并行计算应用。在配置中，每台机器都应设置为平等节点，以便于进行并行计算。 ### MongoDB配置MongoDB的配置是实验中的重点和难点。作为NoSQL数据库，MongoDB在大数据环境中扮演着重要角色。配置过程中需要建立分片、副本集，并对不同的角色进行相应配置。分片的配置涉及config server、shard及mongos的设置。每个角色可能需要不同的端口进行通信，因此需要在/etc/hosts中给每台机器取别名并保持一致。配置过程繁琐但关键，每一步都要仔细检查。 ### Hadoop配置Hadoop是大数据处理的基石，其配置包括设置namenode、datanode以及journalnode。Hadoop的搭建涉及了免密登录的配置和防火墙的关闭，以保证集群节点之间的通信。 ### Zookeeper配置Zookeeper是分布式应用协调服务，常用于管理Hadoop集群中的元数据。在本实验中，只在前三个节点上安装Zookeeper，配置结果需要形成一个leader和两个follower的集群状态。 ### Hbase配置包括master节点和regionserver节点的设置。对于备份master和regionservers的配置，需要额外关注。 ###基础环境配置实验的基础环境配置包括关闭防火墙、设置无密码登陆、修改hosts文件和hostname。这些都是为了简化集群内部通信的复杂性。 ###心得体会从实验中获得的心得体会包括配置集群的复杂性和挑战性，尤其是torque和mongodb的配置。在配置过程中，出现错误是难免的，重要的是要读懂日志，找到问题所在。此外，通过互联网上的资料可以获得很大帮助，但也要注意理解每一步的含义，不能机械地照抄。 ###环境搭建的关键词集群搭建中的关键词包括“交互通信”和“主从控制”。这些概念在配置过程中尤为重要。为了提升效率，日志分析和工具积累也至关重要。在搭建hadoop集群时，很多教程推荐使用deploy.conf、deploy.sh和runRemoteCmd.sh这三个文件，它们能够在一台主机上操作多台主机，前提是实现了免密登陆和权限配置正确。 ###测试实验的最后部分是进行串行文件测试和并行文件测试。这涉及到利用mpich进行测试，并确保配置的正确性。 ###错误处理在实验过程中，如果遇到错误，需要根据错误信息定位问题，并参考其他资料进行解决。这是学习和成长的必经之路。通过本实验的总结，我们可以了解到大数据环境搭建的复杂性及挑战性，以及如何通过日志和工具来提升搭建效率和问题解决能力。这些知识和经验对于未来从事大数据相关工作的人员至关重要。