Flink在滴滴出行的应用与实践

Hbase是一个开源的、分布式的列式存储系统，构建在Apache Hadoop文件系统（HDFS）之上，提供实时读写能力，适合处理海量结构化数据。在滴滴出行数据分析项目中，Hbase用于存储爬取的原始运营数据，具备高并发读写、水平扩展和强一致性等特性，确保数据高效存储和快速访问。此外，使用Hive进行数据仓库处理和分析，利用HQL查询语言执行复杂的统计和计算。Sqoop作为数据迁移工具，负责将Hive分析的数据导入MySQL数据库，便于业务应用和报表生成。MySQL作为数据分析后的存储介质，管理和持久化处理过的结构化数据。最后，通过Python进行数据可视化，生成柱状图和饼图，直观展示滴滴出行

matlab 的sin函数源码 + 滴滴平台数据获取器的组合资源，还挺有意思的。虽然项目本身是个废弃备份，但里面的example.py还能跑，能看看怎么调用以前爬下来的城市出行数据。尤其对新手来说，边看边学，比纯理论更直观。

Flink 是适合实时流的框架，挺受欢迎的。去哪儿网的徐骁带领团队将 Flink 应用到实时计算平台中，他们大量实时数据，效率高。去哪儿网从 2016 年开始构建实时计算平台，结合了Elasticsearch、Kafka和 Flink 等技术，提升了系统的稳定性和可扩展性。Flink 相比其他框架，最大的优势就是低延迟、高吞吐量、精准一次的语义，还有强大的容错能力。去哪儿网利用FlinkonMesos和FlinkonKubernetes进行部署，不仅提高了系统的部署效率，还加强了系统的可靠性。举个例子，Flink 去哪儿网在个性化推荐、风险控制等业务场景上实现了实时计算，带来了更快的响应和更好

字节跳动Flink应用实践 公司: 字节跳动职位: 大数据工程师演讲者: 邹丹 本演讲探讨了Flink在字节跳动的实际应用案例，涵盖了Flink在数据处理、实时分析等方面的应用经验和技术细节。 邹丹分享了字节跳动如何利用Flink构建高效、可靠的大数据处理平台，并深入解析了Flink在实际场景中的性能优化、故障排除等关键问题。

HBase 是分布式的列式数据库，适合存储海量非结构化或半结构化数据。它能高并发的读写操作，设计灵感来自 Google 的 Bigtable。它的架构里有 Row Key、Column Family、Timestamp 等核心元素，能够满足复杂的数据存储需求。小米在 HBase 上做了不少优化，是在写性能上，提出了新的写模型，提升了高并发场景下的吞吐量。你如果也需要海量数据，HBase 的水平扩展性和高可用性，肯定能给你带来大。小米还针对 HBase 做了多自定义调整，像是反向扫描、跨机房备份等，都是提升效率的好手段。如果你正好有这类需求，HBase 绝对是个不错的选择。

云栖TechDay - 哈啰在上海站的活动中，周飞演讲了PostgreSQL在出行新业务场景中的应用。主要讨论了LBS的禁停区和规范停车区的GIS使用、订单指数增长的实时分析需求、逻辑复制和分区表应用中遇到的挑战，以及针对高QPS和数据库雪崩问题的解决方案。他还介绍了pgwatch2在RDS监控中的应用，以及利用RDS数据库审计日志的优势。

Flink CDC 在京东的探索与实践，挺值得一看。如果你对实时数据有兴趣，Flink CDC 的应用场景和优化实践能给你多启发。它被广泛应用于京东的核心业务，比如订单交易、商智黄金眼、实时风控等。通过实时捕获和数据库中的增量数据，Flink CDC 实现了数据的高效分发和。比如，京东自研的 Fregata 系统能自动感知数据库变更，支持多种操作和告警能力，适合大规模数据场景。Flink CDC 在技术架构上的布局也全面，从 MySQL、Hive、ElasticSearch 到 Iceberg 等组件都涉及其中，支持多样化的数据流和高可用性设计。如果你想深入了解如何进行增量数据以及如何优化 F

滴滴数据科学家的业务增长分享，思路清晰、干货不少。整篇 PDF 讲了怎么用数据思维从到落地，真正跑通一个增长闭环。像是埋点设计、指标定义、实验验证，讲得都挺实在的，适合产品、运营和前端一起看。 滴滴的数据驱动体系，重点在“闭环”。不是说完就完事，而是要跑全链路：数据采集、建模、业务落地、效果评估，再优化。这思路你在实际项目里也能用，比如你做了个推荐模块，能不能拉新、转化好不好？这都能靠数据说话。 文档里对 A/B 测试讲得挺透，比如怎么设计分组、怎么选关键指标、怎么确定显著性。嗯，如果你还在靠拍脑袋上线功能，这部分真值得看看。推荐结合自己业务做法读，有不少灵感。 另外，我顺手翻了些相关文章，也

通过实验，让读者掌握基本的Flink编程方法，并使用IntelliJ IDEA工具开发WordCount程序。实验环境包括Ubuntu18.04（或Ubuntu16.04）和Flink1.9.1。每个步骤均附有运行截图，帮助读者深入理解Flink的基本原理、运行机制和编程技能。通过，读者能够巩固大数据的基础编程技能，加深对开发工具的应用。