Spark 餐饮系统的期末考核素材挺实用的,适合刚入门或者正在学大数据的朋友。里面内容还挺全,从Spark Streaming到Spark SQL、GraphX和MLlib,该有的都有。每个模块都有具体用途,也穿插了一些实战经验,像 YARN、Standalone 这些运行模式也提到了,配合课程使用正合适。
实时流的 Spark Streaming 就比较实用,接 Kafka 或者 Socket 都行,用来做订单监控、支付预警挺香的。而Spark SQL那部分,支持各种数据源,还能写 SQL 查结构化数据,业务开发会轻松不少。
要说亮点,RDD 的依赖关系讲得比较清楚,什么宽依赖、窄依赖,用到 Shuffle 的时候你就明白它的重要性了。而且还贴心解释了 Scala 的常用语法,比如Map
和for
循环,多重循环怎么写,拿来就能用。
哦对了,系统里还有关于Spark 架构的,比如SparkContext
、Driver
、ResourceManager
这些组件,搞懂了之后你写代码才知道调谁,在哪逻辑。
如果你正准备做课程设计或者毕设,这套资源挺能省时间的。案例实用,理论也扎实,照着改一改,加点业务数据就能成自己的项目。