Hadoop 在 Windows 平台上的部署其实蛮常见,但常常遇到一些坑,是运行 Hadoop 时,遇到类似java.lang.UnsatisfiedLinkError
的错误。方案就是搞定hadoop.dll
和winutils.exe
这俩文件。嗯,这俩文件在 Hadoop 3.0.0 版本里挺重要,尤其是在 Windows 上跑HDFS
的时候。如果你遇到NativeCrc32.nativeComputeChunkedSumsByteArray
的错误,基本就是这俩文件的缺失或者版本不匹配问题。
你可以去一些资源网站下载,像http://www.cpud.net/down/3335.html
这类地方有方案。而且,一些相关的文档会教你如何配置和使用winutils.exe
,避免NullPointerException
和UnsatisfiedLinkError
这类烦人的异常。
如果你经常在 Windows 上做 Hadoop 相关工作,不妨提前搞定这些工具,它们会帮你节省不少调试时间。