大数据技术原理与应用第1讲大数据概述（厦门大学林子雨中国大学MOOC 2018春季）

厦门大学林子雨老师的大数据课程 PPT，蛮适合刚入门的同学参考。课程叫《大数据技术原理与应用》，内容比较系统，讲得也挺接地气。PPT 是 2016 年春季的版本，虽然有点年头，但里面的概念和架构讲得还是挺清楚的，尤其适合用来打基础。 课程从大数据的基本定义开始，慢慢过渡到Hadoop、Spark这些核心技术，嗯，整个结构还挺合理的。适合做入门梳理，用来串一下知识点也挺方便。 你要是准备搭建一套本地的实验环境，配套的实验资源也都有，比如HBase、Oracle、还有各种练习项目，跟着走一遍能收获不少。 建议你搭配下面几个资源一起看： 优化版的大数据教程（RAR 打包），资料全、更新也比较新

第1讲：大数据技术原理与应用-大数据概述.pdf 第2讲：大数据技术原理与应用-大数据处理架构Hadoop.pdf 第3讲：大数据技术原理与应用-分布式文件系统HDFS.pdf 第4讲：大数据技术原理与应用-分布式数据库HBase.pdf 第5讲：大数据技术原理与应用-NoSQL数据库.pdf 第6讲：大数据技术原理与应用-云数据库.pdf 第7讲：大数据技术原理与应用-MapReduce.pdf 第8讲：大数据技术原理与应用-基于Hadoop的数据仓库Hive.pdf 第9讲：大数据技术原理与应用-Hadoop再探讨.pdf 第10讲：大数据技术原理与应用-Spark.pdf 第11讲：大数

这份资源整理自厦门大学林子雨博士关于Spark的授课PPT，内容涵盖Spark核心概念、架构原理、生态系统组件等，并配有实际案例分析，帮助学习者全面系统地掌握Spark技术。

2018年12月6日至8日，2018中国大数据技术大会在北京隆重举行。大会以“大数据技术服务实体经济”为核心，探讨热门技术在各行业的实践应用。大会设置了多个专题技术和行业论坛，涵盖大数据分析与生态系统、深度学习、推荐系统、大数据安全与政策、大数据可视分析、精准医疗大数据、数据科学与大数据技术教育、数据库、金融大数据、知识图谱、工业大数据、区块链、交通与旅游大数据等领域。

2012018年中国大数据产业生态地图暨中国大数据产业发展白皮书是对2018年中国大数据产业发展情况的全面总结和分析。

大数据技术近年来发展迅速，深刻地影响着各个行业。将对大数据技术进行概述，包括其基本概念、常用工具以及典型应用场景。 大数据基本概念 大数据通常指规模巨大、类型多样、高速产生且难以用传统方法处理的数据集。其核心价值在于对海量数据的分析和挖掘，以获取有价值的信息和洞察。 大数据常用工具 为了处理和分析大数据，需要借助各种工具和技术。常见的工具包括：* 分布式存储系统：如 Hadoop 分布式文件系统 (HDFS)* 分布式计算框架：如 Hadoop MapReduce、Spark* 数据库技术：如 NoSQL 数据库、NewSQL 数据库* 数据可视化工具：如 Tableau、Power BI 大

Hadoop 的大数据架构，用起来真的挺爽的。核心两个东西：一个是HDFS，管文件存储的；另一个是MapReduce，干并行计算的。配合起来，大文件怎么切、怎么放、怎么跑，统统搞定。适合你这种要成吨日志、搞推荐、跑的场景，实用得。 HDFS 的块机制有意思。128MB 一块，默认三份副本，分布在不同节点上。这样某台机器挂了也不慌，数据能迅速恢复。NameNode负责管理“谁放哪儿”，DataNode负责真实的存取，分工明确。 MapReduce的套路比较经典。先是Map阶段，数据生成一堆key-value；Shuffle一下，把相同 key 的聚到一块儿，是Reduce来做最终的聚合计算。说白

大数据的与挖掘领域挺有意思的，尤其是现在多工具都已经成熟了，像SAS、R、Mahout这些工具都挺强大的。你要是想深入了解大数据的相关技术，刘鹏的《大数据、云计算与移动应用》第一讲就了多相关的技术和工具，挺适合入门的。 如果你正在接触或者想了解数据挖掘，Rhive/Rhadoop和Mahout这些工具还不错，能你在分布式环境下做大规模数据。再比如，如果你对Hadoop有兴趣，这篇《Hadoop 大数据与挖掘实战》教程挺适合做入门学习的。 说到大数据，Spark也是一个不可忽视的技术，Spark 快速大数据入门这篇文章能够你快速入门，不妨试试看。 ，如果你对大数据的挖掘有兴趣，学习和了解这些技术

在国家政策的推动下，2017年大数据市场迅速发展，国内重要软硬件企业也相继推出相关产品。为深入了解中国大数据的发展和应用情况，中国信息通信研究院进行了2017—2018年度中国大数据发展状况的调查。本次调查采用现场访问、电话访谈和在线调查相结合的方式，共回收有效问卷1572份。报告基于调查数据，并结合行业专家访谈，详实客观地反映了中国大数据发展现状，为政府和企业制定相关决策提供参考。同时，也为关注大数据的从业人员、专家学者和研究机构提供了真实可信的大数据发展报告。