Flume NG 1.6.0 CDH5.14.0 源码

Flume-ng-1.6.0-cdh.zip中包含三个项目文件：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz和flume-ng-1.6.0-cdh5.10.1.tar.gz，您可以根据需要选择合适的版本。

flume-ng-sdk-1.6.0.ja 需要导入这个jar包才能通过log4j将日志直接导入到flume。

这份文档详细记录了CDH5.14.0的安装过程，包括LINUX系统配置、MYSQL数据库安装，以及整个过程的步骤和优化经验分享。

该配置样例演示了如何使用 Flume 将数据从 Kafka 传输到 ElasticSearch。

CDH5.14.0 的资源下载还是蛮方便的，适合需要部署 Hadoop 生态的同学。你可以轻松获取源代码、二进制文件，甚至是配置优化指南，真的是一个一站式的资源库。比如，如果你正在安装 Flume，Flume NG 1.6.0 的源码已经准备好，随时下载。如果你对 Windows 版本感兴趣，Hadoop 2.6.0 的 CDH 5.14.0 版本也有专门的安装包。哦，对了，CM6.2 和 CDH6.2.1 的资源下载也挺全的，能帮你节省不少配置时间。需要下载其他版本？CDH5.12、CDH5.15、甚至是 CDH6.3.2 版本的资源也可以在这里找到。，这里有你需要的几乎所有 CDH 资源，

hadoop-2.6.0-cdh5.14.0 for Windows 其实是为 Windows 平台定制的一个 Hadoop 版本。它基于 Cloudera 的 CDH5.14.0，Hadoop 本身是强大的大数据框架，平时大多是在 Linux 环境下用。可是，Windows 用户想尝试 Hadoop 开发和测试时，就得花些心思了，得手动编译和配置。这个版本正是为了简化这个过程，帮你省去了不少麻烦。 Hadoop 框架中包含的组件，比如 HDFS、MapReduce、YARN 等，都是大数据工作中的核心部件，尤其是对于想本地开发和测试 Hadoop 应用的人来说，它省去了你自己从零开始搭建环境

兼容 Hadoop 2.5 的 apache-flume-1.6.0-bin.zip 是个还挺实用的工具，专门用来搞日志采集的。Flume 这东西是 Cloudera 家出的，支持分布式，容错也比较强，部署起来也不算麻烦，基本配置好 source、channel、sink 就能跑。 Flume 的核心思路就是把数据源的日志给拉过来，中间用个 channel 缓一手，再推给你指定的目标，比如 HDFS、Kafka 这些。你可以用 exec source 从 shell 拿日志，也能用 avro 协议做远程采集，灵活得。 如果你平时就在玩 Hadoop，那这个版本跟 2.5 的兼容性还不错，稳定性

Apache Flume是一个分布式系统，专门用于从不同数据源收集、聚合和传输大量数据和日志到数据中心。它具有可靠、可伸缩、可定制、高可用和高性能等优点。Flume-ng支持声明式配置和动态更新，提供上下文路由、负载均衡和故障转移功能，且完全可扩展。

对flume-ng-core-1.7.0.jar进行了修改，改为按文件读取而非按行读取。使用时，只需将修改后的文件替换到flume安装目录下的lib文件夹中。