京东金融大数据分析平台总体架构演示文稿

海量数据时代，数据分析需求紧迫。京东金融构建大数据分析平台，助力企业有效利用数据实现精准决策。

在电商大数据实践中，企业内外部的非结构化和半结构化数据被采集并存储，经过结构化处理后，最终得到用于数据模型的结构化数据。数据按照HDFS文件存储，并建议保留1年。平台包括集市区、沙盘区、增值产品区、主题区和归档区，支持批量作业访问。少量高级业务人员利用MapReduce分布式计算进行大数据分析，包括文本检索、语义分词、图像识别和音频识别。与主题区和贴源区形成Hadoop集群（HDFS），保证无单点故障，实现全天候运行。平台还支持历史数据查询和归档，使用Hive提供查询服务。另外，独立的Hadoop集群（HDFS+Hive）同样具备高可用性，保证数据按照归档规则存储，支持历史数据的有效管理。

Python语言编写的金融大数据挖掘和分析案例配套代码。

数据管控层电商大数据实践方案 金融数据管控体系包含：- 组织架构- 评价与考核- 管控流程- 管控平台 数据标准管理数据质量管理元数据管理工作流管理 组织- 数据与信息标准化委员会- 数据管理人- 数据所有人- 数据生产人- 数据使用人- IT支持团队 考核指标- 责任评价标准- 执行评价政策- 执行评价标准 数据类型- 数据格式- 业务分类 数据质量- 真实性定义- 及时性定义- 完整性定义 元数据- 技术元数据- 流程评价与考核流程- 考核指标- 建立/维护流程标准- 建立/维护流程组织- 建立/维护流程评价与考核- 业务含义一致性定义 数据认责平台- 安全等级- 权限限定 业务元数据管理

聚焦金融行业，这套大数据挖掘分析实战教程整合了从理论到实践所需的全部资料，包括详细的文档讲解、完整的代码实现以及相关软件工具。

大数据分析平台总体架构——数据访问层 即席查询：通过即席查询工具或手工书写SQL语句，完成业务信息的即席查看。 多维分析：从多个维度灵活组合对目标值进行分析，常见功能包括上下钻取、透明钻取、旋转、分页、层钻、跨维钻取等。 主动问题发现：通过事件触发、规则匹配等方式发现企业运营中的问题，通过手机、邮件等方式报警。 决策层管理层业务人员即席查询静态报表多维分析仪表盘挖掘预测 仪表盘：通过仪表盘及其它展现方式对企业关键绩效指标进行展示，为领导层决策提供直观的数据支持。 静态报表：按照预先定义格式，批处理报表，在线查询报表等。 Office集成：将分析应用嵌入到Office界面中，利用Office的方

随着互联网、移动互联网和物联网的蓬勃发展，我们已经置身于海量数据的时代。据数据调查公司IDC预测，到2011年，全球数据总量将达到1.8万亿GB。在这样的背景下，对海量数据进行精准分析已经成为一项非常紧迫的需求。

大数据分析平台产品技术架构 典型行业应用案例

这本书是关于大数据分析的教科书，由斯坦福大学知名教授Anand Rajaraman和Jeff Ullman整理编写而成，内容非常实用。