Hadoop 2

详细介绍Hadoop、HBase和Hive的全套安装步骤，内容涵盖丰富，逐步实现。

Apache Hadoop 2.x 中的 HDFS 和 MapReduce 进行了重大改进，与稳定的 Hadoop 1.x 相比，差异显着。此文档提供了详细的配置说明，指导您优化 Hadoop 2.x 集群的性能。

快速高效地开发 Hadoop 2 项目的参考文档。解压缩后打开 index.html 查看 API 主页。

这款插件能让开发者在 Eclipse IDE 中开发 Hadoop 应用程序，支持 Hadoop 2.x 版本。

Hadoop 的老牌教程里，《Hadoop 权威指南（第 2 版）》算是比较经典的那种。书是 2010 年的，但内容还蛮硬核，适合刚入门或者准备深入玩 Hadoop 的朋友。 从 Hadoop 的起源聊起，讲得挺系统的，理论+实战的结构对新手蛮友好。比如怎么搭建集群、怎么用 MapReduce 大文件，讲得都比较细，操作起来也不难。 像你要搞个日志、用户行为统计，用 Hadoop 大规模数据时，这本书会是个不错的参考。尤其适合做大数据 ETL、离线的场景，HDFS 那部分也写得比较扎实。 虽然是老版本，但基本概念没啥变化，像map()、reduce()这些核心 API 思路现在还通用。也顺带讲

深入解析Hadoop 2.x核心内容，内容比《Hadoop权威指南》更为精炼，适合快速入门学习。

《Hadoop权威指南》（第2版）由清华大学出版社于2010年出版，作者是怀特，由曾大聃和周傲英翻译。 这本书以Hadoop的起源为起点，逐步深入，将理论与实践相结合，全面解读Hadoop这一处理海量数据集的强大工具。

Spark 2.3.0 的版本更新挺有意思，尤其是这款spark-2.3.0-bin-hadoop2-without-hive，它最大的特点就是不带 Hive 的 JAR 包。你可以在不依赖 Hive 的情况下，使用SparkHive 上的数据，挺适合有独立 Hive 集群的同学。如果你是那种 Spark 能独立数据，又不想完全依赖 Hive 功能的开发者，这个版本就蛮合适的。其实，Spark的性能提升蛮，支持批、交互式查询和实时流。就算是没有 Hive JAR 包，你依旧可以通过配置文件来接入 Hive 的元数据。只要在配置文件里设置好spark.sql.hive.metastore.uri

好友推荐系统的好友挖掘逻辑，其实用 Hadoop YARN 来跑还挺合适的。资源调度靠它搞定，运行效率也不差，尤其是你数据量一多，单机吃不消的时候，YARN 的分布式能力就派上用场了。YARN 的架构分成三个部分：ResourceManager、NodeManager、ApplicationMaster。嗯，简单说就是资源总管+每台机器的守门员+具体跑任务的小管家，分工还挺明确。容器 (Container) 是个挺关键的东西，所有任务都得先申容器才能运行。每个容器里配了 CPU 和 内存，你想跑 MapReduce 还是 Spark，都得走这个流程。跑 MapReduce 时，流程是这样：先申

详细介绍了配置Hadoop2.x环境所需的软件集合，包括虚拟机、CentOS7镜像、Linux下的JDK8、Zookeeper和Hadoop2.6.5。所有软件适用于64位操作系统，下载链接提供于百度云。