基于Flink和ClickHouse打造高性能电商实时数据分析平台（PC、移动、小程序）

免费分享课程——利用Flink和ClickHouse构建高效电商实时数据分析平台（支持PC、移动和小程序），录制时间为2020年，帮助学习Flink的众多学习者。

flink 16 2024-10-12

基于flink的电商用户行为数据分析项目

这个项目利用flink技术分析电商用户的行为数据。项目包括项目介绍与代码框架、实时热门商品统计、替换kafka源、实时流量统计、恶意登录检测以及恶意登录监控CEP实现、订单支付监控CEP实现。

flink 12 2024-10-11

Apache Flink流处理指南下载

《Stream Processing with Apache Flink》是由Vasiliki Kalavri和Fabian Hueske共同编写的权威指南，深入探讨了流处理的概念、Flink的实现以及流处理应用程序操作。作为一本O'Reilly出版的电子书，以其专业的视角和技术深度，为读者提供了丰富的学习材料。详细阐述了Apache Flink的相关知识，包括流处理基础、Flink架构、API使用、窗口操作、状态管理与容错，以及连接与聚合操作。

flink 13 2024-10-11

Scala学习总结脑图

这是我个人学习Scala时总结的思维导图。

flink 16 2024-10-10

基于PyFlink的实时日志监控告警系统开发

在大数据处理领域，Apache Flink是一个功能强大且高效的流处理框架。本实例主要讨论如何利用PyFlink（Flink的Python API）结合自定义用户定义函数（UDF）来实现实时日志监控告警系统。该系统能够即时解析系统产生的日志数据，并根据预设条件触发告警，帮助运维人员快速响应潜在问题。Flink支持事件时间处理和状态管理，使其在实时分析中表现卓越。在PyFlink中，通过Python接口可以定义数据流转换和操作。UDF在日志监控告警中扮演关键角色，用于处理Flink数据流中的单个元素，如时间戳、源IP和错误代码。例如，我们可以定义一个名为LogParser的UDF来解析日志字符串

flink 14 2024-10-09

Flink JDBC连接器扩展支持通过SQL客户端向SQLServer写入数据

通过Flink SQL客户端即可实现向SQLServer数据库写入数据，只需配置'connector'='jdbc'，示例建表语句如下： ) WITH ( 'connector' = 'jdbc', 'driver' = 'com.microsoft.sqlserver.jdbc.SQLServerDriver', 'url' = 'jdbc:sqlserver://host1:1433;DatabaseName=database1', 'username' = 'user1', 'password' = 'password1', 'table-name'='table1'。

flink 6 2024-10-09

使用Flink进行状态编程订单超时提醒实例详解

在学习Flink状态编程时，我们通过订单超时告警实战案例来深入探讨。无状态计算相对简单，但无法涵盖复杂业务场景，例如复杂事件处理（CEP）需要存储和等待特定规则的事件触发。在聚合指标（如pv、uv）的计算中，状态维护了事件的总数、总和、最大和最小值等。对于机器学习场景，状态编程帮助维护模型参数及历史数据的计算。

flink 14 2024-09-24

使用Apache Seatunnel将Kafka数据同步到ClickHouse的方法详解

在大数据处理领域，实时数据传输与存储至关重要。Apache Seatunnel（前身为DataPipeline）、Apache Kafka和ClickHouse是关键工具。本指南详细介绍如何使用Seatunnel从Kafka同步数据到ClickHouse，适合初学者。Apache Kafka是分布式流处理平台，以高吞吐量、低延迟著称，适用于构建实时数据管道。Seatunnel作为轻量级数据集成框架，支持多种数据源和目标，可进行数据清洗和加载。ClickHouse则是开源列式数据库管理系统，专为OLAP设计，能快速响应大规模数据分析。

flink 14 2024-09-22

Apache Flink 1.13.6 CDC资源包详解

“flink-1.13.6_cdc”指的是Apache Flink的1.13.6版本，专为Change Data Capture (CDC)设计。Apache Flink是一款流行的开源流处理框架，支持实时数据流处理。CDC技术用于捕获数据库中的变更事件，并将其传输到其他系统进行处理或存储。该资源包包含了部署Flink CDC环境所需的所有组件和配置，如Flink运行时、相关连接器及配置文件。子文件包括Flink MySQL CDC连接器的JAR文件（版本2.0.1）和Flink SQL Elasticsearch 7连接器的JAR文件。此外，还包含了Flink 1.13.6的二进制发行版，用

flink 18 2024-09-20

Paimon数据湖Flink 0.5版本jar包使用指南

操作Paimon数据湖时，需要使用Flink 0.5版本的特定jar包。这些jar包提供了必要的功能和支持，确保数据处理的高效性和可靠性。

flink 13 2024-09-19