Mac平台Hadoop 3.0.2原生库编译指南

详细介绍了在Windows操作系统下编译Hadoop 2.7.4的步骤和注意事项。

针对 Mac 使用 brew 安装 Hadoop 出现 “unable to load native library” 的解决方法 Mac 系统通过 brew 安装的 Hadoop 默认不包含 lib 文件夹。这是因为官方下载的 Hadoop 包是 32 位的，在 64 位机器上需要编译后才能使用。 解决方法: 下载 Hadoop 源码并编译成 64 位版本。 将编译生成的 lib 文件夹放到 Hadoop 安装目录下。

适用于 macOS 的 Hadoop 源代码编译的本机库，解决因缺少本机库导致的 Hadoop 安装报错。

这个资源包含了百度云网盘的链接和提取码，用户可以使用这些信息从百度云上下载Hadoop 2.7.2的编译包。

hadoop 的 64 位本地库，加载 native-hadoop 库失败的问题，省得你自己编译，挺省事的。 hadoop-native-64-2.5.2.tar是个已经编译好的 64 位原生库，专门用来你在 64 位服务器上跑 Hadoop 时出现的 Unable to load native-hadoop library for your platform 错误。Apache 官方的库是 32 位的，装在 64 位机器上会翻车，自己编译又麻烦，这包就挺实用的。 你只需要把这个压缩包解压，把里面的文件扔进你本地 hadoop 的 lib/native 和 lib 目录里就行。几分钟的事，不用

本指南详细介绍了编译 Hadoop Eclipse 插件的步骤，按照指南中的说明即可完成编译和安装。

Hadoop-3.1.1 的编译过程其实还挺有意思的，尤其是你对分布式系统感兴趣的话。这版本做了不少实用升级，像是Erasure Coding，能大幅节省磁盘空间，替代老掉牙的三副本机制，省资源还更智能。YARN 也被优化了一把，Capacity Scheduler调度更快，Preemption 机制能自动给高优先级任务腾位置，整体调度逻辑更灵活。跑大作业的时候，资源利用率高了不少。你要是玩过 MapReduce，应该能感受到 3.1.1 在Shuffle阶段的改进，数据传输更省带宽，作业速度也快了一截。还有个亮点就是动态资源分配，对资源波动大的任务友好。安全这一块也没落下，支持Kerbero

该资源为在Windows系统上编译的hadoop-2.7.4源码包。

提供 Hadoop 源码编译所需的 Maven 仓库，加速编译过程，无需等待依赖下载。