并行数据仓库

绿松石数据库 Greenplum 的并行能力真不是吹的，搞大数据的时候用它，响应也快，数据量再大也扛得住。它基于MPP 架构，多个节点一起干活，适合做大规模的数据仓库和任务。 安装 Greenplum 稍微复杂点，不过也不算太难。你得先检查服务器配置，像内存、磁盘、操作系统这些都得符合要求。装些依赖包，比如GCC、OpenSSL、Perl啥的，解压软件包，按文档配好环境变量，跑初始化脚本，整个流程挺标准。 Greenplum 扩容这块做得还挺智能的。你可以直接加Segment 节点，分分钟就能把能力拉上去。只要新服务器配置跟得上，改改配置文件，用gprecoverseg同步一下数据，再启动新节

面对日益增长的海量数据，传统的对称多处理 (SMP) 架构已无法满足大型数据仓库和数据集市的需求。大规模并行处理 (MPP) 架构应运而生，为有效管理、存储和挖掘复杂数据提供了全新的解决方案。 Microsoft SQL Server 2008 R2 并行数据仓库 (PDW) 基于 MPP 技术构建，具有以下优势： 企业级性能和可扩展性 灵活选择硬件供应商 通过与 Microsoft 和第三方商业智能工具集成，提供全面的数据仓库解决方案

微软的并行数据仓库方案挺值得一试，尤其是你想玩点“大”的。基于 SQL Server 的大规模并行（MPP）架构，性能那叫一个顶，查询、导入、扩展都稳。关键是，不挑硬件，伸缩性也不错，用起来灵活多了。里面的微软 Big-Data-and-PDW-Solution 并行数据仓库方案.pdf和微软大数据库方案手册.pdf，讲得蛮清楚，场景也接地气，适合正在部署或调优数据仓库的你。尤其是对中大型企业，那种数据量动不动就上 TB 的，用这个方案响应也快。MPP 架构说白了就是多个计算节点并行求，像多线程一样，各自干各自的活儿，再合并结果。对那种大表 JOIN、大批量场景，效率提升挺的。建议你也看看其他

建行数据仓库的基本架构涉及多个业务系统，包括ODS业务系统、AML、ALM、DCC网银个贷系统、信用证系统等。源表(sdata)通过中间层的pdata将数据传递至数据仓库中的CCDA和CAS等组件。核心银行业务处理系统（DCC）在数据仓库中的目标表大致分为三类：拉链表、时间切片表和当前表。这些表通过不同的物理字段来处理时间信息，特别是Start_Date、End_Date和Data_Dt等字段，能够有效地保留ETL过程中的时间维度数据。

作为企业级统一数据平台，哈尔滨银行的数据仓库扮演着至关重要的角色，为全行的管理、营销提供全面、一致、及时的数据支持。该数据仓库包含总体架构、物理架构、技术架构和数据架构四大组成部分。总体架构涵盖数据采集、数据整合、数据推送和通用展现四个平台；物理架构描述了系统的硬件布局和服务器配置；技术架构涉及前端应用技术和后端技术体系；数据架构则定义了数据源范围和分层管理。通过这些设计，哈尔滨银行致力于构建高效、可靠的数据支持平台。

数据仓库的三层结构，挺适合银行这种数据量大、更新频繁的场景。ETL负责数据的抽取、转换、加载，说白了就是把业务系统的数据拉过来、整理好、装进去，像Informatica、datastage这些工具用起来还不错。存储和管理层就是个大仓库，嗯，ODS-DW结构用得比较多，数据主题清晰，还支持多维查询。数据库选Oracle、Teradata都挺稳妥。结构化、非结构化都能搞定，响应也快。数据和展现层的亮点是能搞OLAP和数据挖掘，联机、数据挖掘一套下来，你要找高价值客户、做风险预测，都能搞定。比如信用卡业务，配合SAS建的行为计分、申计分模型，能实时动态调整额度，效果蛮好。如果你在搞银行或金融行业数据

全面的数据集合，涵盖广泛主题，满足您的各种需求。

数据仓库是主题导向、整合、相对稳定、反映历史变化的数据集合。它是一种“数据存储”体系结构，支持结构化、启发式、标准化查询、分析报告和决策支持。

该数据仓库实例可从网络中获取。

在数据仓库应用的范围中，IT人员为业务用户开发支持独立分析的系统，满足不同用户群体的需求。主要应用包括： 专业分析人员：为这些用户提供复杂分析工具和资源。 标准报表：针对常规数据分析需求，提供稳定的报表输出。 即席查询分析：为用户提供灵活、实时的查询分析功能，支持即时决策。 复杂分析：通过深度分析工具，帮助专业人员进行数据挖掘和高级分析。