Flume配置

flume agent用于数据收集的配置文件示例，包含将一个source的数据同时输出到hdfs和kafka的配置。请注意，source绑定channel时必须同时指定channel1和channel2，不能分开写。该配置文件已在集群环境中成功应用，验证了数据的收集效果。

该配置样例演示了如何使用 Flume 将数据从 Kafka 传输到 ElasticSearch。

提供 Flume 示例配置文件，可作为配置参考，帮助您快速上手。

Apache Flume是Apache Hadoop生态系统中用于收集、聚合和移动大量日志数据的分布式工具。在大数据处理中，Flume通过Agent、Source、Channel和Sink组件协作，从各种数据源如网络套接字、日志文件和Avro数据收集数据，并将其传输到目的地如HDFS或HBase。本示例提供了基础的Flume配置文件，演示了其工作原理和配置方法。

Flume配置文件中的kafkaSource拦截器包含了提取数据中关键词、时间和日期等信息的功能。

Apache Flume是一个分布式系统，专门用于从不同数据源收集、聚合和传输大量数据和日志到数据中心。它具有可靠、可伸缩、可定制、高可用和高性能等优点。Flume-ng支持声明式配置和动态更新，提供上下文路由、负载均衡和故障转移功能，且完全可扩展。

Flume 的日志采集配置，真的是用起来挺顺手的。TaildirSource负责盯着你指定的目录，一有新日志立马捕捉。搭配HDFS Sink，数据就能稳稳落在 HDFS 上，整个流程又快又稳。中间靠memory channel当桥梁，响应也快，配置也简单。你要是做过日志同步，肯定知道传统方案多麻烦，而这套配置清爽得，基本拷一份改路径就能上。另外如果你得跑定时任务或者多个步骤的，Oozie也别忽略了。像那种先导入再的场景，用 XML 把 workflow 串起来就行，而且支持失败重试，省了不少人工干预。还有Sqoop，算是 RDBMS 和 HDFS 之间的搬运工吧。无论是 MySQL 到 HDF

flume-ng-sql-source-1.5.3.jar是用于flume采集mysql数据的关键jar包。下载后，请将此文件复制到FLUME_HOME/lib目录。对于CDH版本的flume，需将jar包放入/opt/cloudera/parcels/CDH-xxxx/lib/flume-ng/lib目录。此外，还需下载并添加mysql-connector-java-5.1.XX-bin.jar。

获取 Flume 安装包及详细安装指导，助您快速搭建数据采集管道。

Flume 1.9.0 安装包，用于部署和配置 Flume 数据采集系统。