Spark 1.6.1 版本的核心包
运行在Scala 2.11上的 Spark 版本,1.6.1 算是比较成熟的一版了。比起之前的 1.6.0,bug 修了一些,性能也稳了一点,是 Shuffle 那块的表现会好不少。适合你想要个“别动我就行”的版本。
你要是对比着用,可以看看之前那个优化版 1.6.0,嗯,两个版本差不多,但 1.6.1 更保险一些。还有,如果你想搞点图计算啥的,顺手看看GraphX 的 2.11 指南也不错。
另外,如果你有跟HBase打交道的需求,SHC Spark-HBase Connector这个库也能顺一下,接口写得蛮直白的。要是刚接触分布式计算的朋友,建议搭配着入门资料看,思路更清晰。
使用的时候注意版本对齐,比如Hadoop版本别搞错,不然启动报错你都找不着头绪。如果你是搭老环境,或者要还原旧项目,spark-core_2.11-1.6.1.jar
真挺合适。