Flume-ng的搭建和sink配置详解

在 Windows 环境下搭建 Flume-ng 并使用 Log4j 将日志输出到 HDFS。

探讨了Apache Flume中的关键组件Channel和Sink，以及它们在数据流动中的作用。Flume通过不同类型的Channel如Memory Channel和File Channel实现数据的中转和持久化存储，以保证数据安全性和流畅性。同时介绍了多种Sink配置，如Logger Sink、File Roll Sink和HDFS Sink，它们分别用于控制台输出、文件系统存储和HDFS上的数据写入。Flume的这些组件为大规模日志数据的高效收集和处理提供了重要支持。

Flume 整合 Spark Streaming 时用 pull 方式采集数据，少不了的就是spark-streaming-flume-sink_2.11_2.1.1.jar这个包。直接把它放进你的lib里，搭配flume-ng agent，跑起来还挺稳。 Sink 的实现已经帮你封装好了，基本不用手动撸代码，配好 Flume 的avroSource和 Spark Streaming 里的FlumeUtils.createPollingStream就能收数据。响应也快，丢包率低，日常跑日志收集、监控啥的挺合适。 你要是正好在搞Kafka、HBase这类组件的实时，配合这个 JAR 包还能组成完

flume-ng-sql-source-1.5.3.jar是用于flume采集mysql数据的关键jar包。下载后，请将此文件复制到FLUME_HOME/lib目录。对于CDH版本的flume，需将jar包放入/opt/cloudera/parcels/CDH-xxxx/lib/flume-ng/lib目录。此外，还需下载并添加mysql-connector-java-5.1.XX-bin.jar。

flume-ng-sdk-1.6.0.ja 需要导入这个jar包才能通过log4j将日志直接导入到flume。

Flume NG 1.6.0 CDH5.14.0 源码包，供开发人员参考和使用。

Flume-ng-1.6.0-cdh.zip中包含三个项目文件：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz和flume-ng-1.6.0-cdh5.10.1.tar.gz，您可以根据需要选择合适的版本。

spark-streaming-flume-sink_2.11-2.0.0.jar 的 jar 包，主要是干嘛的？嗯，说白了，它就是让你把Flume采集到的数据，直接推给Spark Streaming来，适合做实时日志、事件流这一类的活儿。对接简单，挺省事。 Flume 对接 Spark Streaming的时候，最大的麻烦就是接口兼容问题。这包的版本是2.11-2.0.0，对应的Spark和Flume也要注意对上号，不然容易连不上。你可以看看这个Spark Streaming Flume Sink 2.11 2.1.1，版本挺详细的。 用这个包之后，Flume 事件就可以直接被receive

对flume-ng-core-1.7.0.jar进行了修改，改为按文件读取而非按行读取。使用时，只需将修改后的文件替换到flume安装目录下的lib文件夹中。