Spark 1.6.1 版本的核心包,用起来还挺稳定的,适合做一些老版本环境的兼容开发。尤其你在跑老项目或者搞兼容测试时,这包挺顺手的,基本不出幺蛾子。启动快,依赖也不复杂,和 Hadoop 那边对接也比较顺利,省了不少心。

运行在Scala 2.11上的 Spark 版本,1.6.1 算是比较成熟的一版了。比起之前的 1.6.0,bug 修了一些,性能也稳了一点,是 Shuffle 那块的表现会好不少。适合你想要个“别动我就行”的版本。

你要是对比着用,可以看看之前那个优化版 1.6.0,嗯,两个版本差不多,但 1.6.1 更保险一些。还有,如果你想搞点图计算啥的,顺手看看GraphX 的 2.11 指南也不错。

另外,如果你有跟HBase打交道的需求,SHC Spark-HBase Connector这个库也能顺一下,接口写得蛮直白的。要是刚接触分布式计算的朋友,建议搭配着入门资料看,思路更清晰。

使用的时候注意版本对齐,比如Hadoop版本别搞错,不然启动报错你都找不着头绪。如果你是搭老环境,或者要还原旧项目,spark-core_2.11-1.6.1.jar真挺合适。