Spark 的图计算组件 GraphX 的早期版本,spark-graphx_2.10-1.1.0.jar
,在一些老项目里还挺常见的,是用 Scala 2.10 那批项目。依赖老一点的版本?这个包就刚好。功能比较基础,但跑些小规模图数据,响应也快,代码也不复杂。
GraphX整合在 Spark 里头,想在分布式环境下搞图的,少不了它。像是做点社交网络路径计算、图遍历那种,用它跑个PageRank
或者Connected Components
都还挺顺手的。老版本嘛,优点就是兼容性高,搭配 Spark Core 1.1.0 用着没啥坑。
安装上没啥的,直接把spark-graphx_2.10-1.1.0.jar
加到 classpath 里就行。对了,要确保你 Spark 版本也得是 1.1.0 的,版本不对,容易抛ClassNotFoundException
。如果你项目还在用 Scala 2.10,这版本还是能用得挺稳的。
不过如果你是新项目,建议看看2.4.5 版本的 GraphX,支持Scala 2.12
,稳定性、性能也更好。想了解 GraphX 整体架构,可以翻下Apache 的 GraphX 资源页,讲得还挺清楚。
如果你正维护老 Spark 项目,又刚好是1.1.0
版本,这个包就挺对味的,省心不折腾。