Parquet格式

从 MySQL 导入数据到 Hive 里用 Parquet 格式，靠的是Sqoop这一把好用的老工具。最常见的场景，比如你线上业务跑在 MySQL，离线仓库用的是 Hive，又查询快、压缩好，就适合用 Parquet。 Sqoop 的命令写起来不复杂，像下面这样就能搞定： sqoop import \ --connect jdbc:mysql://your-mysql-host:3306/yourdb \ --username youruser \ --password yourpass \ --table your_table \ --hive-import \ --hive-table y

使用 Parquet CLI 查看 Parquet 文件的元数据，可了解文件中的行组数量、行组大小、列编码、列统计信息、字典编码回退和索引信息。

了解如何利用 Java 库读取、写入和处理 Parquet 文件。

命令行下查看 Parquet 文件内容，用 parquet-tools 就挺顺手的，尤其你文件直接在 HDFS 上的时候。输出清爽，能看 schema、row group、具体数据。比起写 Spark 代码跑一遍，轻便多了。 parquet-tools 的 dump 和 head 命令还挺实用，常用来快速确认字段和数据有没有问题。比如你新写了个 ETL，第一时间想验证下结果，就靠它了。 下载方便，有现成的 parquet-tools-0.1.0-bin.tar.gz 可直接用。解压后进命令行，跑个 parquet-tools schema hdfs://path/to/file 立马看到结构，

利用 PySpark 的强大功能，你可以轻松将 CSV 文件转换为更高效的 Parquet 格式，实现数据处理的优化。

parquet-tools-0.1.0-bin.tar.gz 可供下载。

ParquetViewer.exe 是一款 Windows 平台上的 Parquet 文件 编辑器，它允许用户打开、查看和编辑 Parquet 格式 的数据文件。该工具使用户能够快速预览和操作 Parquet 格式的数据，而无需使用复杂的编程工具。该编辑器支持查看文件的详细内容，并提供简单的操作界面，方便用户进行数据处理和分析。

该工具可以将 MAT 格式的数据转换为 LIBSVM 格式的数据，并将转换后的数据保存为 TXT 文件。

本包提供了浮点数在十进制和二进制IEEE 754表示之间的转换功能，该功能由四个脚本组成： float2bin：十进制浮点数转二进制字符串 bin2float：二进制字符串转浮点数 bitstr2vec：二进制字符串转二进制向量 bitvec2str：二进制向量转二进制字符串

基本句型： SELECT 字段名 FROM 数据表 示例： SELECT * FROM grade SELECT 学号, 姓名 FROM grade SELECT 学号, 姓名, 语文 + 数学 + 英语 AS 总成绩 FROM grade