大数据分析平台的整体结构——高级工作流程及实施设计方案（详细版）

大数据分析平台的总体架构消除一数多义，提升数据的唯一性和一致性。将逐步形成的数据标准纳入规范管理流程，包括更新、发布和监督使用等工作。数据标准管理工作涵盖数据标准的建立和维护、执行以及考评。建立和维护数据标准涵盖数据分类、数据结构、关键业务对象和关键代码的数据维度映射。执行数据标准涵盖定性和定量考评，生成数据标准分析报告并推广数据标准理念。

大数据分析平台总体架构——数据访问层 即席查询：通过即席查询工具或手工书写SQL语句，完成业务信息的即席查看。 多维分析：从多个维度灵活组合对目标值进行分析，常见功能包括上下钻取、透明钻取、旋转、分页、层钻、跨维钻取等。 主动问题发现：通过事件触发、规则匹配等方式发现企业运营中的问题，通过手机、邮件等方式报警。 决策层管理层业务人员即席查询静态报表多维分析仪表盘挖掘预测 仪表盘：通过仪表盘及其它展现方式对企业关键绩效指标进行展示，为领导层决策提供直观的数据支持。 静态报表：按照预先定义格式，批处理报表，在线查询报表等。 Office集成：将分析应用嵌入到Office界面中，利用Office的方

电商大数据实践已经在外部非结构化数据统一制定目标和分析模型自定义报表工具行列简单定义方式多种格式报表集团决策层集团职能管控层各级业务操作层关注集团主要经营指标业务人员使用BI应用实现业务协作和创新BI分析工具供应链金融系统POP系统其他业务系统云数据推送平台已实现了主要零售及金融业务系统数据清洗整合，为未来金融集团数据平台提供了丰富的数据源。通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力采购管理系统查看职能部门的业务经营情况统一定义BI应用统一划分分析主题统一设计数据模式统一规

电商大数据分析平台演进路线 本方案以电商大数据实践为背景，详细阐述大数据分析平台的演进路线、实现步骤与设计方案。 第一阶段：基础平台搭建 (2013年) 以基础平台搭建为主，配合初期业务开展。 应用建设从客户信息管理、风险管理和运营管理三方面开展。 搭建大数据处理平台和实时分析平台。 应用方面开展实时分析和数据产品封装。 开展客户信息管理、信用风险评级和业务统计分析三类应用建设。 开展贴源数据整合，初步建立企业级数据视图。 实现对管理分析类应用和实时分析类应用的支撑。 规划数据管控蓝图，初步实施数据质量和技术元数据管理。 第二阶段：深化分析体系 (2014年-2015年) 全面开展内部管

基于数据分析和建模的工作流程在现代技术背景下显得尤为重要。它不仅仅是一个流程，更是一种深入理解业务和数据的方式。通过数据分析和建模，企业能够更好地理解市场需求，优化决策过程，并提高运营效率。

通过加强业务协作，将分散在供应链金融、人人贷、保理等业务系统中的数据集中整合到数据平台，建立企业级视图，促进业务的集成和协作。这不仅为企业级分析和交叉销售提供基础，还为金融业务创新创造了有利条件。同时，提升数据建设效率和数据质量，改善企业整体数据的实用性和安全性，有效推动IT系统的建设和运行效率。

在电商大数据实践中，企业内外部的非结构化和半结构化数据被采集并存储，经过结构化处理后，最终得到用于数据模型的结构化数据。数据按照HDFS文件存储，并建议保留1年。平台包括集市区、沙盘区、增值产品区、主题区和归档区，支持批量作业访问。少量高级业务人员利用MapReduce分布式计算进行大数据分析，包括文本检索、语义分词、图像识别和音频识别。与主题区和贴源区形成Hadoop集群（HDFS），保证无单点故障，实现全天候运行。平台还支持历史数据查询和归档，使用Hive提供查询服务。另外，独立的Hadoop集群（HDFS+Hive）同样具备高可用性，保证数据按照归档规则存储，支持历史数据的有效管理。

随着大数据分析的需求增长，Hive存储结构的扩展设计与实施变得至关重要。

大数据分析平台的演进可以分为多个阶段：首先是建立数据交换平台和NAS存储集群，设计并实施数据库和数据区交换组件；其次是搭建历史归档查询平台和内部管理分析应用平台，部署MPP集群和BI分析应用环境；最后是优化数据交换平台，增强基础计算平台，引入更多数据源并优化实时分析平台。这些措施实现了数据按照贴源数据模整合和生命周期归档管理，提升了实时分析环境的能力。