Windows 系统上跑 Hadoop 的时候,Hadoop.zip里的内容还挺关键的,尤其是那个winutils.exe
。多人装完 Hadoop 后发现命令跑不起来,率就是少了它。它其实是个桥梁,让 Hadoop 能在 Windows 上模仿 Linux 的操作,像管理 HDFS 文件、跑 MapReduce 啥的都靠它支撑。
压缩包里的hadoop.dll和hdfs.dll也蛮重要的,前者帮你跑 Hadoop 服务,后者则让你能读写 HDFS。这两个不放进去,多功能都不灵。是你用 Java 写点测试代码,不加载这些 DLL,调试都跑不通。
说到配置,主要是把bin
目录加进PATH
,搞定几个配置文件,像hadoop-env.cmd
、core-site.xml
、hdfs-site.xml
这些。hadoop-env.cmd
里要记得设置JAVA_HOME
,否则 Hadoop 启动直接报错。
运行上也不难,配置好了你就可以直接用hadoop fs
命令跟 HDFS 打交道了。比如:hadoop fs -ls /
。如果你还想玩 MapReduce,就得再启动 YARN 服务。
但说实话,Windows 跑 Hadoop 也不是没有坑。性能先不说,权限管理和文件系统那块儿,Windows 和 Linux 差挺多的。有时候 Hadoop 会报些莫名其妙的错,率就是权限没配对。
如果你是想在 Windows 上先熟悉下 Hadoop,那Hadoop.zip是个不错的起点。开发调试用它,部署上线还是建议 Linux,省心多了。