Hadoop集群Hive和Spark连接驱动

软件版本 Hadoop: 3.3.3 Spark: 3.2.1 (Hadoop 3.2 兼容版本) Hive: 3.1.3 Zookeeper: 3.5.10 MySQL: 8.0.29 (适用于 CentOS/RHEL 8 x86_64 架构)## 文件列表 hadoop-3.3.3.tar.gz spark-3.2.1-bin-hadoop3.2.tgz apache-hive-3.1.3-bin.tar.gz apache-zookeeper-3.5.10-bin.tar.gz mysql-8.0.29-1.el8.x86_64.rpm-bundle

Hive JDBC驱动包 此驱动包用于建立与Hive的JDBC连接，并经过测试确保可用。

Hadoop、Hive、Spark 配置修改 本指南介绍如何在 Hadoop、Hive 和 Spark 中修改和添加配置信息。 Hadoop 配置 Hadoop 的配置文件位于 $HADOOP_HOME/etc/hadoop 目录下。 一些常用的配置文件包括： core-site.xml：Hadoop 核心配置 hdfs-site.xml：HDFS 配置 yarn-site.xml：YARN 配置 mapred-site.xml：MapReduce 配置 可以通过修改这些文件中的属性来配置 Hadoop。 Hive 配置 Hive 的配置文件位于 $HIVE_HOME/conf 目录下。

Hadoop+Hive 集群的搭建，其实没你想的那么复杂，关键是流程得清楚，坑要避开。VM 上的Ubuntu系统配上Hadoop 3.3.0和Hive，搭起来还是蛮顺的。用的是伪分布式，调试方便，跑测试任务也够用。 Ubuntu 系统的干净环境挺适合做实验的，搭 Hadoop 前，记得把SSH和JDK这些依赖搞定，不面启动 Hadoop 老是出错。你可以直接配置~/.bashrc，写好环境变量，像HADOOP_HOME、JAVA_HOME这些，少一步都不行。 Hadoop 的配置文件比较关键，像core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-s

提供了一个完全分布式Hadoop+Spark集群搭建的详细文档，从环境准备开始，包括机器名和IP映射步骤，SSH免密设置，Java安装，涵盖Zookeeper、Hadoop、Hive、Spark的安装和配置过程。文档包含了Eclipse/IDEA的安装指南，涵盖了3-4节点集群部署，包括各角色（如Namenode、Secondary Namenode、Datanode、Resourcemanager）的节点分配，详细说明和截图展示。同时提供可访问的IP、用户名和密码设置。

FineBI 连接 Hive 所需驱动位于 FineBI 安装目录下的 webapps/webroot/WEB-INF/lib 文件夹中。

在 Windows 环境下，使用 Python 2.7 配置 Spark 1.6 (Hadoop 2.6) 时，需要借助一些工具来实现与 Hadoop 的交互。

Spark 2.3.0 的版本更新挺有意思，尤其是这款spark-2.3.0-bin-hadoop2-without-hive，它最大的特点就是不带 Hive 的 JAR 包。你可以在不依赖 Hive 的情况下，使用SparkHive 上的数据，挺适合有独立 Hive 集群的同学。如果你是那种 Spark 能独立数据，又不想完全依赖 Hive 功能的开发者，这个版本就蛮合适的。其实，Spark的性能提升蛮，支持批、交互式查询和实时流。就算是没有 Hive JAR 包，你依旧可以通过配置文件来接入 Hive 的元数据。只要在配置文件里设置好spark.sql.hive.metastore.uri

为确保 FineBI 与不同 Hive 版本的兼容性，需使用对应版本的驱动包。下表列出了 FineBI 连接 Hive 1.2、2.1.1、2.1.2 和 2.3 版本所需的驱动包信息： | Hive 版本 | 驱动包 || -------- | -------------------------------------- || Hive 1.2 | hive-jdbc-1.2.1.jar || Hive 2.1.1 | hive-jdbc-2.1.1.jar |