Hadoop初级测试数据

用于Hadoop集群搭建和测试的数据集，包含Hive数据。

刚入门大数据，碰到个挺实用的资源。是我师兄当时带我时整理的一份Hadoop 测试数据，格式清晰、数据量合适，蛮适合用来练手。分享出来，你也能少走点弯路。有些数据是CSV格式，有些是JSON，可以直接喂进 Hadoop 或者 Spark 跑，省得自己东拼西凑。尤其适合测试MapReduce流程、HDFS 导入，还有数据清洗这些常规流程。如果你也在搭 Hadoop 环境，或者想试试Hive跑查询，那这份数据真的还不错。操作起来也不麻烦，响应也快。跑个聚合、排序啥的，效果挺直观的。顺手也整理了几篇相关的资源文章，像是Hadoop 集群搭建测试数据、Spark 销售、还有个GitHub 的大表数据库，

Hadoop 的日志用起来还挺香的，尤其是你想按日期统计访问次数的时候。这篇资源手把手教你怎么搞定，从预日志，到写 MapReduce 程序，再到测试数据验证，流程讲得比较清楚，而且用的还是常见的网站访问日志例子，落地性强。代码结构也简单，逻辑不绕，你稍微有点基础就能跟上。配套测试数据也挺实用，拿来一跑就知道结果对不对，省了不少试错时间。如果你正在折腾 Hadoop 访问日志，强烈建议收藏一下。

hadoop 测试的出生人口数据，算是我测试 MapReduce 性能时候用得比较多的一套。按年份拆分，每年一个yobXXXX.txt文件，从 1885 到 2016 都有，适合做点时间序列或者人口趋势可视化，格式也比较简单，CSV 文本，解析起来不麻烦。数据蛮适合拿来跑 MapReduce 任务的，文件够多、体量适中，放在 HDFS 里分块效果挺直观。你要测 IO、测试Mapper/Reducer逻辑效率，这套数据拿来直接跑一跑就行，响应也快。我自己平时还会配合Hive或者Pig来试试查询语句的优化，也试过用Spark做个小 demo，批量效率还不错。你甚至可以接个Tableau或者Graf

MongoDB 的测试数据包，挺适合用来练练基本功。里面的数据结构比较多样，覆盖了常用的 CRUD 操作，还带点聚合、索引、分片这些实战内容，适合想深入 MongoDB 的你。尤其是新手，可以直接拿来跑，熟悉操作逻辑。嗯，像insertOne、find、updateMany这些命令都能在实际数据上测试下手感。用在本地环境没问题，放到 Atlas 上跑跑也 OK。

Solr 的测试数据，结构清晰、格式标准，拿来就能用，省了不少前期准备时间。尤其适合刚开始摸索 Solr 配置的同学，用来跑通流程、调试字段都挺顺手的。 Solr 的测试数据，结构清晰、格式标准，拿来就能用，省了不少前期准备时间。尤其适合刚开始摸索 Solr 配置的同学，用来跑通流程、调试字段都挺顺手的。 数据文件是 JSON 格式的，字段不复杂，比如id、title、description这些基本字段都有，对应 Solr 的 schema 定义也友好，改起来也不麻烦。嗯，响应也快，调试起来没那么心累。 要是你也在整 Solr 环境，又懒得自己造数据，这份测试数据就挺合适。直接导入，跑个cur

PowerDesigner 的测试数据生成功能还挺省事的。建完表之后不想一行行手动输数据？直接让 PD 帮你自动生成，数字、字符串、日期类型都能搞定，基本能覆盖日常开发测试的需要，省时间又省心。比如建了一个包含id、name和created_at的表，一键就能生成几组完整数据。嗯，不用写 SQL，不用填表格，效率一下子就上去了。

测试数据，内容不为真实，勿作任何违法操作，本下载不负任何责任。

在Kettle8.2中实现从文件中抽取数据到Hive。