Windows 上的 Hadoop 运行环境,挺适合用来做本地测试和学习的。虽然 Hadoop 本来是奔着 Linux 去的,但有了这个环境,Windows 用户也能轻松体验分布式大数据的乐趣。整个包配置得还挺齐,像Winutils.exe
这类关键工具都预置好了,少了不少折腾。
Java 环境的配置是第一步,别忘了设好JAVA_HOME
。解压包之后,直接把hadooponwindows-master.zip
丢到比如C:\Hadoop
下面,改改配置文件,指定路径啥的,一般问题不大。
HDFS 的初始化用hadoop namenode -format
命令搞定,之后用start-dfs.cmd
和start-yarn.cmd
就能把服务跑起来。测试也简单,跑个hadoop fs -ls /
看看是不是正常工作。
如果你对 Linux 命令行不熟,建议装个Git Bash
或者Cygwin
,有些脚本靠它们才能跑。虽然性能上不如 Linux,但平时做开发、写 demo 或者给同事演示下逻辑,也够用了。
顺带推荐几篇文章,像Hadoop 框架解析和Windows 安装 Hadoop3.0.0这两篇,讲得都蛮细的,值得看看。
如果你平时在 Windows 上开发,又想学大数据,搭个hadoop Windows 运行环境
确实方便不少。就是配置那块要耐心点,多试几次就顺了。