NiFi

由 Attunity 和 Hortonworks 共同提供的 Apache NiFi 初学者指南。

NiFi 是一款实时离线数据采集工具，架构清晰，具备单点及集群部署能力。其处理器功能丰富，支持多种数据来源和变量表达式。广泛应用于数据集成、ETL 处理等场景。

离线同步 MySQL 数据到 HDFS 中，使用NiFi这个工具，真的挺方便的。你只需要配置几个流程，就能实现从 MySQL 到 HDFS 的数据迁移，尤其适合大规模的数据同步。NiFi 的界面操作直观，不需要写多代码，操作起来简单。对于像你这种需要定时或者批量数据的开发者，简直是个省时省力的神器。你可以通过 NiFi 的流程管理功能，轻松地监控数据流动，还能快速调整任务，保证数据的安全性和一致性。如果你要做数据迁移或同步，NiFi 这款工具应该是你比较值得尝试的一种选择。

nifi 的自定义 processor 功能，扩展性蛮强，就是文档稍微有点散。这篇案例就挺实用，代码清爽，readme也写得清楚，重点是手把手带你实现一个自己的 processor，调试和打包的流程都梳理过了。对于刚入门或者想快速试水的你，绝对是个不错的参考。 nifi 平台的 processor 机制其实不复杂，写起来跟 Java Servlet 有点像，一个生命周期内流数据。这个案例就教你从 0 开始，新建类、继承AbstractProcessor，重写onTrigger，还顺带讲了怎么加自定义属性。 代码结构比较清晰，像pom.xml依赖怎么配、怎么注册 processor 工厂、怎么打

NiFi 的 1.9.2 版本，部署起来还挺顺的，单机跑个测试流程也挺轻松。界面是那种拖拖拽拽的方式，搞数据流程不需要太多代码，对刚上手的你友好。部署时直接解压包，改几个配置就能起服务，响应也还不错，算是省心型的工具。 NiFi 的流程控制做得还蛮灵活的，比如你要从MySQL里抓数据同步到HDFS，只要拖几个组件连一连，再配下参数，分分钟就能跑通。想改逻辑？随时拖换组件，调试也方便，不用每次都重启。 要注意的是，虽然是单机部署，JVM内存别开太小，不然数据多了容易卡。还有就是流程组这种概念，第一次上手会有点懵，建议你多点点菜单看看属性，熟悉后就顺了。 你如果是做数据采集、同步这种工作，尤其是多