flume-ng-core-1.7.0.jar文件修改指南

flume-ng-sql-source-1.5.3.jar是用于flume采集mysql数据的关键jar包。下载后，请将此文件复制到FLUME_HOME/lib目录。对于CDH版本的flume，需将jar包放入/opt/cloudera/parcels/CDH-xxxx/lib/flume-ng/lib目录。此外，还需下载并添加mysql-connector-java-5.1.XX-bin.jar。

Flume 是 Cloudera 推出的一个好用的分布式日志采集和传输工具，简单来说，它主要用来收集、聚合和传输海量的日志数据。Flume 支持自定义不同的数据发送方，灵活，可以根据需求设计自己的数据流向。它的高可靠性和高可用性也不错，适合大规模日志场景。 如果你正好需要海量日志，Flume 的功能挺全面的，不仅支持灵活配置，还能轻松数据并发送到不同的接收方。比如你可以将日志数据写入 HDFS，或者其他你指定的数据存储。，Flume 是一个稳定且易于扩展的工具，适合用在分布式数据系统中。 不过，Flume 的使用需要一些配置上的小技巧，尤其是数据流向的设置和定制化的部分。如果你刚接触，最好先了

flume-ng-sdk-1.6.0.ja 需要导入这个jar包才能通过log4j将日志直接导入到flume。

Flume NG 1.6.0 CDH5.14.0 源码包，供开发人员参考和使用。

Flume-ng-1.6.0-cdh.zip中包含三个项目文件：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz和flume-ng-1.6.0-cdh5.10.1.tar.gz，您可以根据需要选择合适的版本。

Apache Flume是一个分布式系统，专门用于从不同数据源收集、聚合和传输大量数据和日志到数据中心。它具有可靠、可伸缩、可定制、高可用和高性能等优点。Flume-ng支持声明式配置和动态更新，提供上下文路由、负载均衡和故障转移功能，且完全可扩展。

由于hadoop1.2.1和eclipse在Windows环境下运行时存在文件权限问题，导致原始的hadoop-core-1.2.1.jar不可用。经过对fileutil.java文件的修改，现已编译成功并亲测可用。

Flume-ng-sql-source-1.5.2基于flume1.6进行编译，并优化了基于flume1.8的custom.query逻辑。调整后，单一条件参数作为查询结果的第一列，并按正序排序。比较条件参数以返回结果。由于LastIndex中保存了参数条件，因此无法通过计数索引获取数据。下一步计划改进：实现上述所有功能。

Flume 工具用于采集数据，在使用 IDEA 或 Eclipse 进行编程时，需要导入 Flume 依赖的 jar 包，本合集中包含 98 个经过测试有效的 jar 包，可用于编写 Flume 客户端，发送数据至 Kafka 并成功消费。