国家电子政务外网安全等级保护指南数据仓库与数据模型

3.14创建多个简要记录一个细节可以用来生成多个简要记录。如电话公司的单个电话记录可以生成客户简要记录、地区通信量简要记录、线路分析简要记录等。简要记录可以放入数据仓库或数据集市。当简要记录进入数据仓库时，面向通用应用；进入数据集市时，则为部门应用提供支持。操作型记录聚集成一条简要记录的过程通常在操作型服务器上完成，因其管理大量数据并使数据常驻服务器上。创建简要记录的过程涉及数据排序和合并。复杂冗长的快照建立过程应审慎考虑其必要性。简要记录中的元数据记录类似于单一活动快照中的元数据记录，不同之处在于聚集记录成为重要的元数据。从技术上说，聚集过程生成的记录是“元过程”信息而非“元数据”信息。3.

数据仓库的高效装入能力，是你在大规模数据时绕不开的一关。国家电子政务外网的安全等级保护实施指南里，这部分讲得还挺细的。尤其是并行存储和元数据管理，思路实在，也给了不少实操建议，适合拿来做参考。 并行存储的思路挺适合做数据分片、节点调度的优化参考。说白了，多机器分着干，性能自然就提上去了。 元数据管理这块讲得也还行，强调了数据仓库和普通数据库的区别，比如开发模式更偏“试错+演进”，元数据就变得关键。像数据表结构、字段映射、抽取日志这些，全都得有。 语言接口这一节比较偏实用。讲了接口要支持批量/单条访问，能插入更新，还得有 SQL。，接口不能太拉胯，不然光写查询你就能疯。 数据装入这里提的关键点：

你知道吗，数据仓库的设计其实是挺有意思的，尤其是在局部数据和全局数据之间的关系时。比如说，全局数据仓库中的数据不一定都来自局部数据仓库，这就意味着数据的整合是个长期过程，而不是一蹴而就的。你会觉得数据映射有点复杂，但其实，只要理解了如何将局部操作型系统的数据映射到全局数据仓库的数据结构，事情就好办多了。就像图 6-9 和图 6-10 中所展示的，局部数据仓库和全局数据仓库之间的关系需要精细的设计，逐步调整才能达到理想的状态。并且，分布式数据仓库不仅仅是一个技术问题，更涉及到数据冗余的，如何平衡冗余数据和存储需求，是每个开发者都会遇到的挑战。，虽然有点复杂，但只要掌握了核心概念，理解了数据的流动

数据仓库的审计问题引发了广泛讨论：是否应该对数据仓库进行审计？尽管有审计的可能性，但也有多种理由表明，这种审计可能并不切实可行。审计可能导致数据突然出现，数据进入仓库的时间变化大，备份和恢复限制也随之变化。因此，在数据仓库环境中进行审计是可能的，但其复杂性意味着在其他环境中进行审计更为合适。

9.2反馈循环数据仓库开发成功的关键在于数据体系结构设计者与DSS分析者之间的反馈循环，如图9-4所示。第9章迁移到体系结构设计环境167下载现存系统环境开始载入第一个主题区，继续载入并鼓励数据集市部门使用。警告：如果您等待清理现有系统而不进行反馈，您将永远无法建立数据仓库。

9.3 图9 - 5显示了企业的D S S需求路径，设计和建立数据仓库环境以支持企业的需求。除了D S S外，企业还有其他需求。图9 - 6展示了企业的操作型环境，状态混乱，数据未集成，系统老化且难以维护。操作型应用需求已发生变化。迁移方案只涉及D S S部分，是否可以在创建数据仓库时改善操作型环境的混乱呢？答案是在一定程度上可以进行重建工作，而不仅仅是美化操作型环境。

4.1 在确定适当的粒度级起点时，我们需要精确估算数据仓库将来的数据行数和所需的直接访问存储设备（DASD）。即使在最佳情况下，我们也只能进行估计。在建立数据仓库的初期阶段，仅需要一个数量级的估算。有一个计算数据仓库空间的算法，详见图4 - 1。首先确定将在数据仓库中创建的所有表，然后估计每张表中行的大小。确切的大小可能难以确定，但可以估计一个下限和一个上限。接下来，估算每张表在一年内的最少和最多行数，这是设计者需要解决的主要问题。例如，对于客户表，可以根据商业环境和公司的业务计划估计当前客户数量；如果没有业务数据，可以估计市场总体业务量乘以市场份额；如果市场份额未知，则可以使用竞争对手的业务

如果条件允许且经济可行，外部数据和非结构化数据可以直接存储在数据仓库中。然而，在任何情况下，都需要将外部数据和非结构化数据与其元数据一同登记，具体存储则依据其规模和访问频率来决定是否存入数据仓库。

数据体系结构设计者与D S S分析者之间的反馈循环，在国家电子政务外网安全等级保护实施指南中扮演关键角色。随着第9章迁移到体系结构设计环境，这一过程显得尤为重要。警示：只有通过积极的反馈，而不是等待现存系统的清理，才能成功建立数据仓库。