Windows 10 系统下想跑个靠谱的 Hadoop 集群,hadoop-2.6.5-win10x64-1809.tar.gz
还挺适合的。Hadoop 版本是 2.6.5,虽然不算新,但够稳定,拿来学习或者搞点小型数据项目完全没问题。是针对 1809 版本的优化,省了不少配置上的麻烦。
压缩包解开就一个目录hadop-2.6.5
,结构也清晰。bin、sbin这些常用目录都有,conf文件下还能直接改配置跑服务。你要是熟 Java,IDEA 或 Eclipse 装个插件,MapReduce 任务调起来还是蛮方便的。
HDFS也能在 Windows 上跑,不过记得搞定winutils.exe
和hadoop.dll
,要不日志里警告一堆。想读写 HDFS,用 Java API 就行,直接在代码里调FileSystem
类方法就能搞定文件上传下载。
还有,环境变量里记得设好JAVA_HOME
,不然启动脚本直接报错。整体用下来感觉还不错,不用装虚拟机也能本地跑,适合开发调试或者入门练手。如果你正在找一个能在 Win10 上跑得动的 Hadoop 版本,这个压缩包可以一试。