使用 Java 操作 Parquet 文件

使用 Parquet CLI 查看 Parquet 文件的元数据，可了解文件中的行组数量、行组大小、列编码、列统计信息、字典编码回退和索引信息。

命令行下查看 Parquet 文件内容，用 parquet-tools 就挺顺手的，尤其你文件直接在 HDFS 上的时候。输出清爽，能看 schema、row group、具体数据。比起写 Spark 代码跑一遍，轻便多了。 parquet-tools 的 dump 和 head 命令还挺实用，常用来快速确认字段和数据有没有问题。比如你新写了个 ETL，第一时间想验证下结果，就靠它了。 下载方便，有现成的 parquet-tools-0.1.0-bin.tar.gz 可直接用。解压后进命令行，跑个 parquet-tools schema hdfs://path/to/file 立马看到结构，

利用 PySpark 的强大功能，你可以轻松将 CSV 文件转换为更高效的 Parquet 格式，实现数据处理的优化。

本项目提供一个 Java 操作 HDFS 文件的实用案例，涵盖文件创建、删除、上传、下载等常用功能。请确保在运行前已成功搭建 Hadoop 集群。

ParquetViewer.exe 是一款 Windows 平台上的 Parquet 文件 编辑器，它允许用户打开、查看和编辑 Parquet 格式 的数据文件。该工具使用户能够快速预览和操作 Parquet 格式的数据，而无需使用复杂的编程工具。该编辑器支持查看文件的详细内容，并提供简单的操作界面，方便用户进行数据处理和分析。

介绍如何使用Java代码实现HDFS文件系统基础操作，包括创建目录、上传文件、下载文件、删除文件、文件重命名以及获取文件列表等功能。

利用POI库进行Excel数据处理，将数据有效地导入到MySQL数据库中。

MongoDB 的非关系型特性，加上 Java 的强类型优势，用来做一些灵活的数据真的挺香的。用起来也不复杂，连上驱动，代码几行就能搞定基本的增删改查。 MongoDB 的 Java 驱动安装挺简单，Maven 项目的话直接在pom.xml里加上： org.mongodb mongodb-driver-sync 4.3.0 就是创建MongoClient连接数据库了。一般测试用localhost就行： MongoClient mongoClient = MongoClients.create("mongodb://localhost:27017"); MongoDatabase

_access 函数用于检查文件的访问权限，例如只读、只写等。 函数原型： int _access(const char *path, int mode); 参数说明： path: 目标文件路径。 mode: 要检查的访问模式。常见的模式包括： 00: 检查文件是否存在。 02: 检查文件是否可写。 04: 检查文件是否可读。 06: 检查文件是否可读可写。 返回值： 如果指定的访问模式有效，则返回 0。 否则返回 -1，并设置全局变量 errno 以指示错误类型。 示例： 以下代码检查文件 access.c 是否可写： #include #include in