大数据的高性能计算

面向大数据的 高性能计算：方法与应用 本书探讨了面向数据密集型应用的新兴高性能架构、提升数据处理效率的新型分析策略，以及机器学习、生命科学、神经网络和神经形态工程等多个领域的前沿应用。 全书结构分为两大部分。第一部分涵盖大数据架构，包括云计算系统和异构加速器，并介绍了面向内存架构和设备的新兴 3D IC 设计原则。第二部分展示了大数据在多个领域的新兴应用案例，包括生物信息学、深度学习和神经形态工程。 主要内容包括： 涵盖 Hadoop/Spark 等分布式系统在内的各种大数据架构 面向大数据应用的基于加速器的解决方案，例如基于 GPU 的加速技术 面向内存架构和设备的新兴 3D IC 设计

GridDB是一种高性能、高可扩展性和高可靠性的大型数据数据库，其数据模型类似于KVS（键值存储），特别适合存储时序数据，如传感器数据。它设计灵活，能够轻松应对大量传感器的数据存储需求。系统具备高可靠性，采用了先进的节点结构。

Apache Ignite 提供高性能内存计算。

Spark，如同Hadoop生态系统中的MapReduce、Hive和Storm，是一种通用的 大数据计算框架。它集成了多种计算框架：Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLlib用于机器学习，Spark GraphX用于图计算，涵盖了大数据领域的各种计算需求。 Spark专注于大数据的计算，而Hadoop则更侧重于大数据的存储（例如HDFS、Hive、HBase）以及资源调度（Yarn）。 Spark与Hadoop的结合，被视为大数据领域最具潜力和前景的组合。

数据库技术的进步、数据挖掘应用的兴起、生物基因技术的不断发展以及历史数据规模的爆炸式增长, 都对高性能计算提出了更高的要求。虽然分布式系统可以部分解决大型计算问题, 但是其通信开销大、故障率高、数据存取结构复杂且开销大、数据安全性和保密性难以控制等问题依然存在。而计算机处理器, 特别是GPU技术的快速发展, 为高性能数据并行计算提供了新的解决方案。

大数据架构设计，包括云计算与大数据的关系；各行业大数据计算架构案例等

Spark 的 2.1.1 版本压缩包，真挺适合想在本地或者集群上玩转大数据的你。核心模块清晰，像是任务调度的Spark Core、写 SQL 像查数据库一样顺手的Spark SQL、还有能搞流的Spark Streaming，都上手。嗯，spark-2.1.1.tgz下载解压就能用，设置好环境变量就能跑。搭配YARN或Kubernetes也方便。

本PPT包含四章内容：人类认知的可计算性、大数据时代的自然语言处理技术、智能驾驶中的视听觉认知、云模型和数据场等物理学方法在不确定性认知中的应用。大数据时代的认知计算是否会促进认知科学的发展，值得思考。

飙车机器人的畅跑场景，李德毅院士用这个画面打开了“大数据认知计算”的脑洞。嗯，说实话，看完还挺震撼的。认知能不能被计算？他不是讲哲学，是拿出了实际方案，讲得通俗、接地气。文章还搭配了一些资源链接，讲了认知 CPU、机器人运动算法啥的，细节还蛮全。 北京城区的飙车机器人不只是想象，背后是大数据和认知模型的结合。李德毅院士在讲“智能”的时候，真的挺有一套的。他讲的认知计算，就是让机器自己“想明白”事情，不只是执行命令，像是给它装了个会判断的大脑。 有几个文章推荐还不错，比如这个《认知计算的 CPU 大数据认知_李德毅院士》，讲得比较深入但还算好懂。还有轮式机器人那篇，也挺适合搞嵌入式和路径规划的兄