MongoDB 与 Hadoop PPT

这份 Hadoop 2.0 实战 PPT 文档未经任何修饰，内容是原始版本，供大家学习交流。

流式开发实例：map 脚本内容 #!/usr/bin/python import sys for eachLine in sys.stdin: t- 从标准输入获取数据 eachLine = eachLine.strip() Seg = eachLine.split('|)t- 使用|` 分隔各个字段 if len(Seg) == 19 and Seg[1] == 'rpt_cad' and Seg[6] != '': t- 判断字段数量和值，符合条件则继续 ad_id = Seg[6] print '%st%d' % (ad_id, 1) t- 将结果打印到标准输出 else: t- 不符

在启动MongoDB之前，需手动创建一个用于存放MongoDB数据文件的目录，如D:mongo_data。接着在命令行执行mongod --dbpath=D:mongo_data。

MongoDB与关系型数据库有显著差异。MongoDB是一个NoSQL数据库，采用文档存储模式，每个文档都以BSON格式存储。相比于关系型数据库，MongoDB更加灵活，可以处理各种不同结构的数据，无需预先定义表结构。此外，MongoDB具有强大的扩展性，支持水平扩展，适用于大规模数据处理。索引的使用和分片机制使其在性能和可用性方面也表现优异。

英文原版书籍，详细指导如何在 Python 环境下使用 MongoDB

Facebook应用：Hadoop大数据开发与性能调优实战 PPT 59张PPT幻灯片 报表分析 天/周维度报表展示 点击统计汇总 数据分析与应用 用户参与度计算 战略决策服务 Ad hoc分析 机器学习（广告方向）

流处理开发的关键注意事项包括：1. 程序的稳定性要有保障；2. 确保-mapper和-reducer路径使用绝对路径；3. 确保map/reduce脚本具备可执行属性；4. 调试map/reduce脚本的语法和逻辑；5. 对map/reduce脚本进行线上小规模数据测试；6. 关注Hadoop Job的输出和运行界面；7. 使用nohup命令保存Job输出结果；8. 在程序遇到异常时主动退出，如从标准输入读取EOF或遇到管道中断；9. 确保处理中文时源文件为UTF-8格式。

Hadoop版本：3.1.3JDK版本：1.8

Hadoop主要应用于大数据量的离线场景，实际线上使用Hadoop的集群规模通常在上百台到几千台机器。在这种情况下，数据规模通常较小。基于MapReduce框架，Hadoop较难处理实时计算，主要用于日志分析等离线作业。此外，集群中通常存在大量作业等待调度，以最大化资源利用率。由于HDFS设计的特点，Hadoop适合处理文件块较大的数据，对于大量小文件处理效率较低。