大数据分析平台总体架构元数据管理电商大数据实践实现和设计方案详细版

大数据分析平台总体架构——数据访问层 即席查询：通过即席查询工具或手工书写SQL语句，完成业务信息的即席查看。 多维分析：从多个维度灵活组合对目标值进行分析，常见功能包括上下钻取、透明钻取、旋转、分页、层钻、跨维钻取等。 主动问题发现：通过事件触发、规则匹配等方式发现企业运营中的问题，通过手机、邮件等方式报警。 决策层管理层业务人员即席查询静态报表多维分析仪表盘挖掘预测 仪表盘：通过仪表盘及其它展现方式对企业关键绩效指标进行展示，为领导层决策提供直观的数据支持。 静态报表：按照预先定义格式，批处理报表，在线查询报表等。 Office集成：将分析应用嵌入到Office界面中，利用Office的方

在大数据分析平台的设计中，结合非结构化和半结构化数据管理分析，采用X86 MPP集群和Hadoop集群等技术，实现了京东业务系统的结构化数据计算和沙盘演练功能。此外，还包括数据交换平台、实时分析平台以及历史归档查询平台等多个关键组件，全面支持大数据区的管理和应用。

数据管控层电商大数据实践方案 金融数据管控体系包含：- 组织架构- 评价与考核- 管控流程- 管控平台 数据标准管理数据质量管理元数据管理工作流管理 组织- 数据与信息标准化委员会- 数据管理人- 数据所有人- 数据生产人- 数据使用人- IT支持团队 考核指标- 责任评价标准- 执行评价政策- 执行评价标准 数据类型- 数据格式- 业务分类 数据质量- 真实性定义- 及时性定义- 完整性定义 元数据- 技术元数据- 流程评价与考核流程- 考核指标- 建立/维护流程标准- 建立/维护流程组织- 建立/维护流程评价与考核- 业务含义一致性定义 数据认责平台- 安全等级- 权限限定 业务元数据管理

大数据分析平台一期硬件配置（续）所有服务器均采用开放的X86架构，单台服务器建议配置如下：服务器类型服务器功能数量CPUMemory网口操作系统内置盘数据交换平台数据接口服务器51664G210GbtCentos 6.32600GB 15K SAS disks RAID 0+1流程调度&ETL平台流程调度&ETL服务器71664G210GbtCentos 6.32600GB 15K SAS disks RAID 0+1元数据服务器Hive元数据库服务器21664G210GbtCentos 6.34600GB 15K SAS disks RAID 0+1管理分析平台数据集市服务器432128G4

这个模块主要是你通过 Web 界面查询并下载电商大数据的质量报告。无论是按时间、报告名称查询，还是下载错误明细，功能都直观，使用起来挺方便的。报告可以直接在线查看或下载，错误记录的明细也能轻松获取。实现方式用的是J2EE技术，支持 WAR 包部署到Tomcat集群，整个过程都比较流畅。对于数据质量管理员来说，这个模块能有效他们进行数据质量监控，ETL 完成后就能立即生成报告查看，蛮符合实际业务需要的。而且，系统设计也注重用户体验，支持 B/S 方式登陆，管理员通过平台就能执行配置管理，操作起来没有负担。如果你有类似需求，可以考虑用这种方式来做数据质量报告展示，效果应该不错。

大数据平台的总体架构设计，挺适合做电商项目的参考资料。用户访问层到数据交换层，层次分明，模块拆得也比较细。像数据交换组件这种东西，在多系统对接的时候真的蛮重要的，少了它你就得自己各种格式转换，光编码就够头疼了。 用户行为数据、商品主题、协议主题这类主题数据区划分也比较清晰。用在客户、商品推荐场景里，还挺实用的。而且它不只是做用户层面的，还覆盖了供应链、财务、风控这些后台模块，适合做中后台系统架构参考。 平台提到了不少流程调度和数据管控的细节。说实话，这块多人容易忽略。你以为大数据平台只是跑任务、看报表，其实后面有一堆调度逻辑和监控告警在撑着。对了，它用的是多区分层思路，像实时数据区、贴源数据区

电商大数据分析平台演进路线 本方案以电商大数据实践为背景，详细阐述大数据分析平台的演进路线、实现步骤与设计方案。 第一阶段：基础平台搭建 (2013年) 以基础平台搭建为主，配合初期业务开展。 应用建设从客户信息管理、风险管理和运营管理三方面开展。 搭建大数据处理平台和实时分析平台。 应用方面开展实时分析和数据产品封装。 开展客户信息管理、信用风险评级和业务统计分析三类应用建设。 开展贴源数据整合，初步建立企业级数据视图。 实现对管理分析类应用和实时分析类应用的支撑。 规划数据管控蓝图，初步实施数据质量和技术元数据管理。 第二阶段：深化分析体系 (2014年-2015年) 全面开展内部管

大数据分析平台的演进可以分为多个阶段：首先是建立数据交换平台和NAS存储集群，设计并实施数据库和数据区交换组件；其次是搭建历史归档查询平台和内部管理分析应用平台，部署MPP集群和BI分析应用环境；最后是优化数据交换平台，增强基础计算平台，引入更多数据源并优化实时分析平台。这些措施实现了数据按照贴源数据模整合和生命周期归档管理，提升了实时分析环境的能力。

电商大数据实践已经在外部非结构化数据统一制定目标和分析模型自定义报表工具行列简单定义方式多种格式报表集团决策层集团职能管控层各级业务操作层关注集团主要经营指标业务人员使用BI应用实现业务协作和创新BI分析工具供应链金融系统POP系统其他业务系统云数据推送平台已实现了主要零售及金融业务系统数据清洗整合，为未来金融集团数据平台提供了丰富的数据源。通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力采购管理系统查看职能部门的业务经营情况统一定义BI应用统一划分分析主题统一设计数据模式统一规