Apache NiFi

由 Attunity 和 Hortonworks 共同提供的 Apache NiFi 初学者指南。

nifi 的自定义 processor 功能，扩展性蛮强，就是文档稍微有点散。这篇案例就挺实用，代码清爽，readme也写得清楚，重点是手把手带你实现一个自己的 processor，调试和打包的流程都梳理过了。对于刚入门或者想快速试水的你，绝对是个不错的参考。 nifi 平台的 processor 机制其实不复杂，写起来跟 Java Servlet 有点像，一个生命周期内流数据。这个案例就教你从 0 开始，新建类、继承AbstractProcessor，重写onTrigger，还顺带讲了怎么加自定义属性。 代码结构比较清晰，像pom.xml依赖怎么配、怎么注册 processor 工厂、怎么打

NiFi 是一款实时离线数据采集工具，架构清晰，具备单点及集群部署能力。其处理器功能丰富，支持多种数据来源和变量表达式。广泛应用于数据集成、ETL 处理等场景。

离线同步 MySQL 数据到 HDFS 中，使用NiFi这个工具，真的挺方便的。你只需要配置几个流程，就能实现从 MySQL 到 HDFS 的数据迁移，尤其适合大规模的数据同步。NiFi 的界面操作直观，不需要写多代码，操作起来简单。对于像你这种需要定时或者批量数据的开发者，简直是个省时省力的神器。你可以通过 NiFi 的流程管理功能，轻松地监控数据流动，还能快速调整任务，保证数据的安全性和一致性。如果你要做数据迁移或同步，NiFi 这款工具应该是你比较值得尝试的一种选择。

根据所提供的文档内容，可以了解以下信息：1. Apache Flink简介：Apache Flink是一个开源的流处理框架，支持高吞吐量、低延迟的数据处理，具备容错机制，确保数据处理的准确性。Flink的架构包括Job Manager负责任务调度和协调，Task Manager执行任务。它支持状态管理和检查点机制，实现“恰好一次”状态计算。此外，Flink提供了窗口操作来处理滑动、滚动和会话窗口，以及灵活的内存管理。Flink还包含优化器，同时支持流处理和批处理。2. 快速入门设置：了解Flink的安装和配置步骤，包括在Windows和Linux系统上的安装，配置SSH、Java和Flink，

Apache SpamAssassin 是一种可扩展的电子邮件过滤器，用于识别垃圾邮件。它使用规则库和高级启发式以及统计分析测试来检测邮件标题和正文中的垃圾邮件特征。识别后，可选择将邮件标记为垃圾邮件，以便后续过滤。该工具提供命令行工具、客户端-服务器系统和 Perl 模块组 Mail::SpamAssassin，用于执行过滤操作。

Apache ZooKeeper 是一款开源的分布式应用程序协调服务，源于 Google Chubby 项目，是 Hadoop 和 HBase 等分布式系统的关键组件。 ZooKeeper 为分布式应用提供一致性服务，功能涵盖： 配置维护 域名服务 分布式同步 组服务 ZooKeeper 的设计目标是简化复杂且易出错的关键服务，为用户提供易于使用、性能高效且稳定的系统。它提供了一组简单的原语，并支持 Java 和 C 接口。

大数据日志收集工具 Apache Flume 1.5.0。

适用于存储和处理大型数据集的开源数据仓库平台

Kudu是Cloudera开源的列式存储系统，专为Hadoop生态系统设计。它支持常见的技术特性，并能在一般商用硬件上运行，实现了水平扩展和高可用性。