partitioner

自定义的 Partitioner 是 Hadoop 中Reduce输出结果分类的利器。用它你可以把不同类型的数据结果扔到不同的文件里，直观、方便，统计起来也更清晰。输入数据结构有点意思，像Kaka 1 28这种，有的超长，有的太短，有的刚刚好。你需要做的，就是根据长度把它们分成三类——正常、过长、过短，输出成三个文本文件。Partitioner 接口核心方法是getPartition(Text key, Text value, int numPartitions)，注意这个numPartitions是 Reduce 个数，想本地跑，最多只能用一个 Reduce。逻辑比较简单，比如你可以判断va

HDFS 的 API 操作、MapReduce 的使用，以及如何重写 Partitioner 类，这些在大数据过程中可是基础也重要的内容。这篇教程挺适合想要深入了解 Hadoop 的你，是对于 HDFS 的操作，像创建、读取、删除文件这些基本的文件系统操作，它通过FileSystem类给你了好的接口。通过fs.create()、fs.rename()等方法，你可以方便地进行文件管理。对于 MapReduce 模型，简单来说就是把大数据分割成小块，在不同节点上并行计算。你可以使用Mapper和Reducer两个类来这些数据。如果想要更细致地控制如何分配这些小块数据，重写Partitioner类就