Spark 2.x

Spark 和 Spark ML 介绍 数据集、数据框 API 详解

《Apache Spark 2.x Java开发者指南》详细介绍了如何利用Apache Spark 2.x进行Java开发。Apache Spark是一个快速、通用的集群计算系统，支持Java、Scala、Python和R的高级API，本书专注于Java开发者，涵盖了Spark Core、Spark SQL、Spark Streaming、MLlib和GraphX等关键模块。读者将学习如何使用Spark进行大数据处理，包括RDD的管理、DataFrame的数据操作、SQL查询、流处理等关键技术。

《掌握Apache Spark 2.x第二版》是一本英文书籍，帮助读者快速入门并掌握Spark的基础知识。作为一款大数据工具，Spark对于工程技术人员来说是必备的学习资源。

深入解析Hadoop 2.x核心内容，内容比《Hadoop权威指南》更为精炼，适合快速入门学习。

这款插件能让开发者在 Eclipse IDE 中开发 Hadoop 应用程序，支持 Hadoop 2.x 版本。

本课程系统讲解在 Spark 2.0 上高效运用 Python 处理数据和建立机器学习模型。课程包含大数据和机器学习基本概念讲解、丰富的案例实践操作和范例程序编码。课程适合学习大数据基础知识的初学者，更适合正在使用机器学习想结合大数据技术的人员。

本指南提供有关在 Hadoop 2.x 中配置和部署高可用 (HA) 环境的详细说明。通过遵循本指南中的步骤，您可以设置一个弹性且冗余的 Hadoop 集群，能够应对节点故障。

Hadoop 2.x 的分布式框架挺适合搞大数据的，是你要批量日志、交易数据那种场景，用它真的省事儿多了。它的核心是HDFS和MapReduce，前者负责数据怎么存，后者管怎么。而且 YARN 一加入，资源调度也变得更灵活，跑 Spark 都不在话下。 HDFS 的主从结构比较好理解，一个NameNode管目录和索引，多个DataNode干实事存数据。数据默认三副本，哪怕某台机器挂了也不会影响太大。写入流程也清晰，客户端先问 NameNode，再分发数据给 DataNode，挺高效。 MapReduce 的三个阶段，你得熟点：Map 拆解数据、Shuffle 分发数据、Reduce 再整合出结

解决 HBase 2.x 中 RegionInTransition（RIT）相关问题。

Hadoop 2.x 的安装教程讲得蛮细的，尤其适合刚入门分布式的小伙伴。YARN 的改进说得比较清楚，像资源调度、HA 这些点都覆盖到了。PDF 里的步骤也挺实在，从环境准备到部署启动一步步走，照着做基本不会出错。哦对，还有 WordCount 的实战例子，拿来练手正好。如果你刚好想在 Linux 下搭个 Hadoop 环境，这份 PDF 真挺值一读的。