流式计算

Storm 是一种分布式、高容错的实时计算系统，适用于处理快速生成的海量数据流。其核心优势在于低延迟、高吞吐量以及易于扩展，广泛应用于实时数据分析、机器学习、风险控制等领域。

基于数据形式，大数据处理系统分为批处理、流处理和实时处理，各有其特点和应用。同时，深度学习、知识计算、社会计算和可视化等技术在大数据分析中发挥关键作用。面临数据复杂性、计算复杂性和系统复杂性挑战，应对之策分别为数据抽象、分布式计算和弹性容错。

流式数据搞久了，谁还没纠结过该选哪个框架？Kafka、Flink、Storm、Apex、Spark Streaming这五个系统，风格不一样，用起来也各有门道。最近翻了份调研报告，整理得还挺细，适合刚上手或者要选型的你看看。 Kafka 的消息机制说实话，还是比较经典的。高吞吐、低延迟，架构上也蛮清爽——生产者写消息到主题，消费者自己拉着读。分区+副本机制，既能扩展也能抗宕。想做实时日志采集、行为埋点那类场景，Kafka 基本稳了。 Flink 和 Storm是偏实时的狠角色。Flink比较强在状态管理和窗口操作，还支持事件时间，做复杂计算时顺手；Storm胜在稳定，适合低延迟、高并发的，比如

根据flink1.8官网文档实现了自定义StreamTableSource，并且输入流使用了kafkaStream，更贴近实际应用。官网文档内容简单且有漏洞，直接按照官网文档编写会导致运行失败。附件文档中的代码经过验证可以正常运行，同时实现了RetractStreamSink，供大家参考。

快速业务开发时的救星就是这个 FastSparkStreaming-2.0.jar。支持Kafka和Spark Streaming结合，两种比较实用的plan 设计模式：缓存模式和窗口模式，对不同场景都挺友好。 缓存模式的逻辑比较直白：结果直接丢进Kafka，不玩窗口那一套，适合对实时性要求高但不追求批间状态的场景。比如日志收集系统，落一波 Kafka 就完事儿。 窗口模式就偏复杂点了，适合需要对数据做窗口聚合或的需求，比如 10 分钟交易统计啥的。这种模式不持久化中间批次结果，轻量一些，资源占用也小，蛮适合日常数据类任务。 要注意的是两种模式不能混着用，选哪个看你业务需求。文档和代码都在作者

Kettle，即水壶，是一个ETL工具集，允许用户通过图形化界面管理来自不同数据库的数据。最新版本中加入了kafka cosumber控件，使其能够支持流式消息消费，主程序员MATT希望通过这一功能，将各种数据以指定格式高效流出。

流式开发实例：map 脚本内容 #!/usr/bin/python import sys for eachLine in sys.stdin: t- 从标准输入获取数据 eachLine = eachLine.strip() Seg = eachLine.split('|)t- 使用|` 分隔各个字段 if len(Seg) == 19 and Seg[1] == 'rpt_cad' and Seg[6] != '': t- 判断字段数量和值，符合条件则继续 ad_id = Seg[6] print '%st%d' % (ad_id, 1) t- 将结果打印到标准输出 else: t- 不符

流数据的世界里，Sybase CEP算是个老牌又靠谱的选手了。它不是传统意义上的数据库，而是个专门实时事件流的平台。你可以把它想象成金融交易、制造生产线、网络异常监测里的“事件捕手”，反应又快，逻辑还灵活，规则写好了基本不需要人值守，挺省事的。 事件驱动的流式是它的拿手好戏。你可以设置一个时间窗口，比如“过去 5 分钟”，它就会在这个范围内实时扫描数据流，看有没有你定义的“复杂事件”发生，比如连续几笔交易异常、或某设备连续超温。响应也快，几毫秒就能给你结果，适合对时效性有要求的业务。 如果你之前主要用传统数据库，那你得稍微转转思路：数据库是“捞数据”，CEP 是“截流数据”，一个历史，一个搞实

FlinkSQL 是 Flink 的一个简化数据的 SQL 接口，可以让开发者像写 SQL 一样轻松流数据和批数据。不需要太深的底层知识，你就能高效进行数据查询和转换。这个文档详细了 FlinkSQL 的核心功能，比如连接、聚合、窗口等，还有一些源码，你理解 FlinkSQL 的运行原理。你将看到 Flink 如何利用事件时间保证准确性，如何优化查询性能，甚至可以了解到如何在阿里云的环境下优化 Flink 作业的效率。如果你是想深入了解 FlinkSQL 的开发者，这个文档是好的参考资料哦！

利用 Hopsworks，可将结构化的 Spark 流式处理作为服务进行使用。