Pig数据处理命令

大数据用 Pig，挺适合那种不想深挖 MapReduce 又想灵活数据的你。

Pig 的 Pig Latin 语言有点像 SQL，但写法更自由，适合清洗、转换、复杂聚合这类活儿。你要是以前写过 Hive，那对比一下你就能感觉出来，Pig 更像灵活的工程利器，Hive 更偏报告。

命令行、脚本、脚本文件三种用法切换也比较方便，写个脚本丢到生产环境跑都没问题。最常用的命令像load、foreach、filter这些，语法上没啥门槛，快就能上手。

比如你要从a.txt里加载数据，只要一句：

A = load 'a.txt' as (id:int, name:chararray);

复杂的业务逻辑拆成步骤来写也顺手，不像 Hive 一句 SQL 搞定但改起来痛苦。group、join、split、union 这些都能组合用，不同数据源时也挺方便。

适合哪些场景？嗯，像日志清洗、拼表、字段转换都行。尤其那种流程多但不需要太强查询性能的任务，Pig 用着就顺。性能上虽然不一定比 MapReduce 强，但开发效率能省不少事儿。

如果你现在手上有一堆半结构化数据，或者想做一批数据前的流程，不妨用 Pig 玩玩。几个命令组合一下，效果还挺惊喜。