Hadoop 课程设计的 MapReduce 和 Hive 实现挺实用的,适合刚接触大数据的你快速上手。内容不花哨,就是实打实的学生成绩,从平均分、总分到详细信息展示都有,MapReduce 配合 Hive 的组合还挺常见的,练手也比较顺畅。

课程用的是Ubuntu 16,配好HadoopHiveMySQL之后就能跑。不会配也别慌,文末直接给了装好环境的镜像,省事多,适合懒得折腾环境的朋友。

里面的MapReduce代码和Hive SQL语句都写得比较清楚,照着改动也好上手。还有现成的数据集,一通直接见效果,代码逻辑也不绕,适合用来理解数据流的思路。

建议注意下Hive建表时如果出问题,直接跑schematool -dbType mysql -initSchema初始化MySQL,不然老报错。项目源码在Gitee 仓库,有需要直接拉下来试试。

如果你也在搞课程设计或者大数据实验,挺推荐看看这个项目的代码结构和逻辑,参考价值还挺高的。顺便还能顺手用一下类似的相关数据集:

嗯,如果你对 MapReduce 和 Hive 有点基础,又想看看实际场景是怎么写代码的,可以直接开搞。