Flume 1.6.0 配置样例

flume-ng-sdk-1.6.0.ja 需要导入这个jar包才能通过log4j将日志直接导入到flume。

Flume NG 1.6.0 CDH5.14.0 源码包，供开发人员参考和使用。

Flume-ng-1.6.0-cdh.zip中包含三个项目文件：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz和flume-ng-1.6.0-cdh5.10.1.tar.gz，您可以根据需要选择合适的版本。

数据字典的示例模板，详细描述字段名称、字段的中文解释、字段长度、字段类型以及是否可以为空。

兼容 Hadoop 2.5 的 apache-flume-1.6.0-bin.zip 是个还挺实用的工具，专门用来搞日志采集的。Flume 这东西是 Cloudera 家出的，支持分布式，容错也比较强，部署起来也不算麻烦，基本配置好 source、channel、sink 就能跑。 Flume 的核心思路就是把数据源的日志给拉过来，中间用个 channel 缓一手，再推给你指定的目标，比如 HDFS、Kafka 这些。你可以用 exec source 从 shell 拿日志，也能用 avro 协议做远程采集，灵活得。 如果你平时就在玩 Hadoop，那这个版本跟 2.5 的兼容性还不错，稳定性

基于开放教育资源的文本分析，由 JSTOR 文本与数据挖掘项目创建。如有问题、意见或改进建议，请发送电子邮件至。

我自己设计了一个基于Access的图书馆管理系统，虽然功能有限，但可以作为学习参考。

flume agent用于数据收集的配置文件示例，包含将一个source的数据同时输出到hdfs和kafka的配置。请注意，source绑定channel时必须同时指定channel1和channel2，不能分开写。该配置文件已在集群环境中成功应用，验证了数据的收集效果。

提供 Flume 示例配置文件，可作为配置参考，帮助您快速上手。