Druid 实时 OLAP 数据仓库架构解析

本课分四章讲解第一章数据仓库与OLAP概述第二章多维数据分析基础与方法第三章数据仓库的构建（示例）第四章数据仓库的高级话题

OLTP面向操作人员，支持事务型操作；OLAP面向决策人员，支持分析性管理需求。OLTP数据为当前值和细节，OLAP数据为历史值和综合值。OLTP处理小量数据，OLAP处理大规模数据。OLTP关注事务吞吐量，OLAP关注查询吞吐量和响应时间。

作为企业级统一数据平台，哈尔滨银行的数据仓库扮演着至关重要的角色，为全行的管理、营销提供全面、一致、及时的数据支持。该数据仓库包含总体架构、物理架构、技术架构和数据架构四大组成部分。总体架构涵盖数据采集、数据整合、数据推送和通用展现四个平台；物理架构描述了系统的硬件布局和服务器配置；技术架构涉及前端应用技术和后端技术体系；数据架构则定义了数据源范围和分层管理。通过这些设计，哈尔滨银行致力于构建高效、可靠的数据支持平台。

BI 内容的结构分三层，分别是数据集成层、数据仓库层和数据展示层。数据集成层负责从各种业务系统里抽数据，像做清洗、转换这些，整合进中心数据库。嗯，搞数据的应该都挺熟这个套路了。数据仓库层的重点在建模，你可以理解成是把杂乱数据变成可的主题，比如订单、客户画像这些，方便后续做报表或者 OLAP。模型建好了，查询效率会高多。展示层就更直观了，啥查询报表、仪表盘、数据挖掘，都在这一层。工具嘛，可以用Tableau、PowerBI，或者你自己写前端可视化页面也行。反正数据从底层到上层都顺了，前端就能安心撸图表。顺带放几个链接，挺实用的资源：数据集成优化、BI 培训流程、数据仓库与挖掘。有空翻翻，思路会更

想了解数据仓库和 OLAP 的相关知识吗？这本书虽然有点年头，但讲的东西依然挺实用的，是对初学者来说，能你快速搞懂数据仓库和联机（OLAP）的核心概念。你可以看看相关资料，像是OLAP 联机这篇文章讲得就到位，适合入门。还有数据仓库与 OLAP 概述，这篇解释了数据仓库的基础和 OLAP 的关系，适合你进一步深化理解。如果你想了解实时数据，可以参考Druid 实时 OLAP 数据仓库架构解析，它是当前流行的一种架构。其他几篇文章，像是数据仓库、OLAP 和数据挖掘技术指南，也挺有用的，你从数据的角度理解数据仓库的运作。

架构：- ETL 工具- 元数据库（存储库）及元数据管理- 数据访问和分析工具

如果你对大数据和数据挖掘感兴趣，可以看看浙大关于这块的，讲得比较清楚，内容挺丰富的。尤其是关于数据仓库和OLAP的部分，详细了这些技术是怎么工作的，以及它们在大数据中的应用。要是你对数据预感到好奇，中也有不少干货，教你如何优化数据消减和复杂的数据集。它把这些理论和实际案例结合得蛮好，给你一个全方位的视角。除此之外，相关的相关文章也挺有，像是数据仓库与OLAP概述，还有深入的Hive数据操作，都是不错的参考资料。如果你对数据感兴趣，绝对能从这些资源中学到不少东西。，如果你想了解大数据领域的基本概念和技术应用，浙大的这篇是个不错的起点，完全值得一看。

本课件全面涵盖数据仓库、OLAP技术和数据挖掘技术及其应用工具。共包含499页内容，提供了详尽的介绍、案例研究和实用指导。

OLTP与OLAP 1.OLTP（OnLine Transaction Processing)—联机事务处理系统，它是事件驱动、面向应用的。例如银行的储蓄系统就是一个典型的OLTP系统。其特点是：对响应时间要求非常高；用户数量非常庞大，主要是操作人员；数据库的各种操作基于索引进行t关系数据库满足了联机事务处理（OLTP）的要求