spark+hadoop+kafka+zookeeper 的大数据平台搭建脚本,挺适合刚入门的朋友在虚拟机上练手的。脚本已经跑通,省得你一点点摸索装环境,省事儿不少。

一键搭建的脚本,省去了各种配置文件对着改的烦恼,适合虚拟机里搞个大数据实验环境玩玩。你不用管什么环境变量、依赖冲突之类的,跑起来再说。

集成了 Spark、Hadoop、Kafka、Zookeeper,基本覆盖了大数据入门最常见的那几个组件。像你要跑个 Spark job、测个 Kafka 消息队列、玩一下 HDFS 文件系统,都没问题,环境都给你备好了。

命令行脚本操作,上手还挺快,适合边学边试。脚本结构清晰,能看懂 Bash 的朋友可以改改参数,换个版本啥的也不难。

运行在虚拟机上,挺适合在本地搞个小集群玩一下,不用每次都折腾服务器。如果你电脑内存还行,推荐上个三节点模拟一下效果。

想再深入一点的话,可以看看这些文章,都是围绕大数据技术写的:

如果你刚开始学大数据,不想被环境折腾得头大,可以从这个脚本起步,边搭边学,效果还挺不错。