Windows 上的 Hadoop 配置一直是让人头大的事,尤其是 HDFS 客户端。apache-hadoop-3.1.3-winutils-master.zip这个压缩包就挺贴心的,把需要的关键组件都打包好了。像hadoop-winutils.exehadoop.dll这些,你不用到处找,直接解压用就行。

hadoop-winutils的命令行工具挺全,像设置环境变量、操作 HDFS 文件都能搞定。直接把hadoop-winutils.exe放到bin目录里,配好HADOOP_HOMEPATH,命令行里就能跑起来了。

hadoop.dll主要是负责跟 Windows 系统打交道的。它搞定底层的 I/O、网络这些事儿,没它你那些hadoop fs命令直接报错。所以一定要把它放在对的位置,别忘了。

HDFS 客户端配置说难也不难,关键是路径别搞错了。你要改好core-site.xmlhdfs-site.xml,Hadoop 才知道该连哪儿,连上集群后你就能跑hadoop fs -ls-put这些常用命令了,挺方便。

安全这块,Hadoop 3.1.3 支持 Kerberos。如果你们集群启用了,就得准备keytab文件,还有在配置文件里加认证参数。没搞好这步,权限啥的都用不了。

说句实在话,Windows 上跑 Hadoop 不是主流,但有时候就是没办法。这包东西虽然不复杂,但挺实用。如果你想本地试着跑跑 HDFS,或者写些测试代码,不用每次都开个 Linux 环境,省事多了。

哦对了,如果你还想了解 HDFS 界面或更多细节,可以看看这些:

如果你是在 Windows 上折腾 Hadoop,那这个压缩包还蛮值得留一份的。