Spark 2.11

Spark项目GraphX的JAR包路径是org.apache.spark/spark-graphx_2.11/1.5.1/spark-graphx_2.11-1.5.1.jar

Spark 1.6.1 版本的核心包，用起来还挺稳定的，适合做一些老版本环境的兼容开发。尤其你在跑老项目或者搞兼容测试时，这包挺顺手的，基本不出幺蛾子。启动快，依赖也不复杂，和 Hadoop 那边对接也比较顺利，省了不少心。 运行在Scala 2.11上的 Spark 版本，1.6.1 算是比较成熟的一版了。比起之前的 1.6.0，bug 修了一些，性能也稳了一点，是 Shuffle 那块的表现会好不少。适合你想要个“别动我就行”的版本。 你要是对比着用，可以看看之前那个优化版 1.6.0，嗯，两个版本差不多，但 1.6.1 更保险一些。还有，如果你想搞点图计算啥的，顺手看看GraphX 的

Flume 整合 Spark Streaming 时用 pull 方式采集数据，少不了的就是spark-streaming-flume-sink_2.11_2.1.1.jar这个包。直接把它放进你的lib里，搭配flume-ng agent，跑起来还挺稳。 Sink 的实现已经帮你封装好了，基本不用手动撸代码，配好 Flume 的avroSource和 Spark Streaming 里的FlumeUtils.createPollingStream就能收数据。响应也快，丢包率低，日常跑日志收集、监控啥的挺合适。 你要是正好在搞Kafka、HBase这类组件的实时，配合这个 JAR 包还能组成完

如果你在做 Spark 相关的图计算工作，会经常接触到GraphX。它是 Spark 中一个图数据的核心组件，可以帮你做多图算法相关的操作，比如图遍历、连接组件、最短路径等。spark-graphx_2.11-2.2.2.jar就是一个 GraphX 的 Jar 包，它适用于 Spark 2.11 版本，功能全面。你如果有类似需求，可以直接用这个包，省去不少配置麻烦。这个版本还是蛮稳定的，能支持大多数常见的图计算场景。如果你刚开始接触 Spark，或者在调试图计算任务时遇到麻烦，试试这个包会省事儿。不过，要注意，GraphX 的学习曲线有点陡，尤其是对大数据计算模型不太熟悉的朋友。你最好先了解

Spark GraphX 是 Spark 用于图形和图形并行计算的组件。 spark-graphx_2.11-1.2.2.jar 文件包含了使用 Scala 2.11 版本编写的 Spark GraphX 1.2.2 的核心功能和 API。

该jar包是Spark应用程序读取Excel文件的关键依赖项，它提供了读取Excel文件所需的必要类和方法，方便开发者进行数据处理和分析。

在使用 Spark 项目 GraphX 时，您可能需要获取特定的 org.apache.spark/spark-graphx_2.11/2.2.0/spark-graphx_2.11-2.2.0.jar 文件。此文件适用于 Spark 2.11 版本的 GraphX 模块，帮助您进行大规模图计算和分析。

优化版：spark-core_2.11-1.6.0.jar提供了稳定和高效的性能，适用于大规模数据处理和分析任务。

Spark 的流式能力加上 Kafka 的高吞吐消息系统，这种组合在实时大数据里真的是老搭档了。spark-streaming-kafka-0-8-assembly_2.11-2.4.5这个 JAR 包就是专门干这事的，专为Spark 2.4.x和Scala 2.11量身定做，想要让 Spark Streaming 读 Kafka 0.8 的数据，离不开它。 对你来说，最直接的好处就是能快速搭起流链路。DirectStream和ReceiverStream两种方式可选，前者精确一次，后者适合低延迟场景。要读取 Kafka 数据，就用KafkaUtils.createDirectStream，加

在用 PySpark 实时数据流时，连接 Kafka 几乎是必不可少的。你需要的这个spark-streaming-kafka-0-8-assembly_2.11-2.4.3.jar，就是用来实现这个功能的 JAR 包。只要将它放到 Python 所在的 site-package 目录下，并确保它被添加到 Pyspark 的 jars 目录里，你就可以轻松地在 PySpark 中读取 Kafka 的消息了。连接简单，性能也还不错，是多项目中不可或缺的部分。如果你在搞流式数据，这就是你需要的工具包！