Apache NiFi 入门手册

nifi 的自定义 processor 功能，扩展性蛮强，就是文档稍微有点散。这篇案例就挺实用，代码清爽，readme也写得清楚，重点是手把手带你实现一个自己的 processor，调试和打包的流程都梳理过了。对于刚入门或者想快速试水的你，绝对是个不错的参考。 nifi 平台的 processor 机制其实不复杂，写起来跟 Java Servlet 有点像，一个生命周期内流数据。这个案例就教你从 0 开始，新建类、继承AbstractProcessor，重写onTrigger，还顺带讲了怎么加自定义属性。 代码结构比较清晰，像pom.xml依赖怎么配、怎么注册 processor 工厂、怎么打

Apache 2.2 版本特性、升级指南、许可证、编译与安装、运行时配置、指令速查、模块、过滤器、处理器、多路处理模块、用户指南、配置、内容缓冲、内容协商、动态共享对象、日志文件、映射、性能调整、安全提示、SSL 加密、CGI 执行、URL 重写、虚拟主机、认证、CGI、.htaccess、SSI、用户目录、平台说明、常见问题解答、开发者文档

Apache Spark是Apache软件基金会下的一款开源大数据处理框架，以其高效、灵活和易用性著称。Spark学习手册的目的是帮助用户深入理解Spark的核心概念、工作原理以及在实际项目中应用Spark进行数据处理的方法。以下是每个文件内容的详细解读： 1. 01Spark生态和安装部署.pdf Spark生态系统包括多个组件，如Spark Core、Spark SQL、Spark Streaming、MLlib（机器学习库）和GraphX（图处理）。件介绍了在各种环境（例如本地、Hadoop YARN、Mesos或Standalone集群）中安装和配置Spark的方法，还包括配置参数调整

Apache Doris是一款高速、实时的分析型数据库，响应时间仅为亚秒级，可满足报表分析、即时查询、数仓构建等场景。它支持高并发点查询和高吞吐复杂分析，可用于构建用户行为分析、日志检索分析、订单分析等应用。

Apache Kafka 快速入门指南-Packt Publishing(2018) 是一本关于 Apache Kafka 的电子书，采用 epub 格式。

Spark编程指南是一本适合初学者的入门手册，涵盖了Apache Spark的核心概念和操作，帮助编程人员快速掌握Spark的使用并理解其生态系统。Apache Spark是一个快速、大规模、通用的计算引擎，提供了丰富的高级API，支持Java、Scala、Python和R等编程语言。Spark的设计目标是支持数据在内存中的处理，以提高数据处理速度，也被称为内存计算。与Hadoop MapReduce相比，Spark可以将作业中间结果保存在内存中，避免昂贵的磁盘I/O操作，大大提升处理效率。Spark编程的核心是围绕RDD（弹性分布式数据集）展开的，RDD是分布式内存的一个抽象概念，提供一个容

NiFi 是一款实时离线数据采集工具，架构清晰，具备单点及集群部署能力。其处理器功能丰富，支持多种数据来源和变量表达式。广泛应用于数据集成、ETL 处理等场景。

Spark 入门的起点就是搞懂它的三个核心模块：Spark Core、Spark Streaming和Spark SQL。Core 像底座，搞定任务调度和资源管理；Streaming 负责实时数据流；SQL 这块嘛，就是给你一个熟悉的操作方式来查数据，挺适合有数据库背景的你。 Spark Core的东西比较基础但也最关键，比如 RDD、任务划分、Job 调度这些。别觉得枯燥，理解了这个，后面不管是跑批还是实时，思路都顺了。 Spark Streaming挺适合做实时数据，比如日志监控、实时用户行为这种需求。你只要搞定 DStream 的概念，再加上一点窗口函数用法，起来还蛮顺手的。 Spark

离线同步 MySQL 数据到 HDFS 中，使用NiFi这个工具，真的挺方便的。你只需要配置几个流程，就能实现从 MySQL 到 HDFS 的数据迁移，尤其适合大规模的数据同步。NiFi 的界面操作直观，不需要写多代码，操作起来简单。对于像你这种需要定时或者批量数据的开发者，简直是个省时省力的神器。你可以通过 NiFi 的流程管理功能，轻松地监控数据流动，还能快速调整任务，保证数据的安全性和一致性。如果你要做数据迁移或同步，NiFi 这款工具应该是你比较值得尝试的一种选择。