MongoDB 与 Hadoop PPT

这份 Hadoop 2.0 实战 PPT 文档未经任何修饰，内容是原始版本，供大家学习交流。

常见 NoSQL 数据库的入门基础 PPT，讲得蛮清楚的，是 MongoDB 那部分，图示比较直观，适合刚上手的小伙伴。 MongoDB 的基础语法讲得挺细，从插入、查询到索引优化，每一块都配了例子，比如db.users.find({age: {$gt: 18}})这种用法，初学者看一眼就懂。 还顺带提到了像CouchDB、Redis、Neo4j、HBase这些数据库的场景和特点。讲 Neo4j 的时候有点意思，图结构一讲，多关系型的思维马上就得转弯，逻辑关系多了，图数据库更合适。 讲得虽然简明，但资料不算浅薄。像ObjectId是什么、什么时候该用嵌套文档，什么时候拆成多个集合，作者都提了一

hadoop 基础的入门 PPT，内容挺扎实，讲得比较系统，尤其适合对大数据还没什么概念的同学。像 HDFS、MapReduce 这些核心点都有覆盖，举的例子也比较通俗，拿来过一遍思路会清晰不少。 数据的流程图、Hadoop 架构图这些图解有用，建议你边看边画下来，理解更快。嗯，讲到 MapReduce 的时候也有带点代码示例，map()和reduce()两个函数是重点，别只看不敲。 刚接触大数据生态圈的，建议你可以配合着看看下面这些资源，比如：spark和Cloudera的入门指南，思路跟 Hadoop 蛮像，但细节有差，了解一下挺有。 如果你是数据库方向转过来的，也可以顺手看看MySQL

Streaming 开发的特点挺有意思的，简单来说，Hadoop Streaming 让你通过标准输入传递数据给 map/reduce 程序，再通过标准输出将结果返回给 Hadoop。这种方式主要是通过将问题转化成（key, value）对来进行，感觉符合大数据的逻辑。你可以把整个过程分成多个（map, reduce）阶段进行，而默认情况下，key 和 value 之间是 分隔的，简单明了。如果你有需要做数据流，Hadoop Streaming 简直是个不错的选择。

如果你最近在做 MongoDB 相关的开发，是与 Hadoop 结合使用的项目，那么这个mongodb-2.6.3.jar绝对是你不可或缺的好帮手。它能帮你轻松地进行数据库操作，是在大数据时，效率和稳定性都挺不错。嗯，自己在做 Hadoop 项目的时候也用到过，感觉效果还蛮好的。如果你需要相关的 jar 包，可以参考下面的一些链接，你进一步优化开发环境和提升工作效率。

流式开发实例：map 脚本内容 #!/usr/bin/python import sys for eachLine in sys.stdin: t- 从标准输入获取数据 eachLine = eachLine.strip() Seg = eachLine.split('|)t- 使用|` 分隔各个字段 if len(Seg) == 19 and Seg[1] == 'rpt_cad' and Seg[6] != '': t- 判断字段数量和值，符合条件则继续 ad_id = Seg[6] print '%st%d' % (ad_id, 1) t- 将结果打印到标准输出 else: t- 不符

在启动MongoDB之前，需手动创建一个用于存放MongoDB数据文件的目录，如D:mongo_data。接着在命令行执行mongod --dbpath=D:mongo_data。

MongoDB与关系型数据库有显著差异。MongoDB是一个NoSQL数据库，采用文档存储模式，每个文档都以BSON格式存储。相比于关系型数据库，MongoDB更加灵活，可以处理各种不同结构的数据，无需预先定义表结构。此外，MongoDB具有强大的扩展性，支持水平扩展，适用于大规模数据处理。索引的使用和分片机制使其在性能和可用性方面也表现优异。

英文原版书籍，详细指导如何在 Python 环境下使用 MongoDB