Spark 2.3.0 的版本更新挺有意思,尤其是这款spark-2.3.0-bin-hadoop2-without-hive,它最大的特点就是不带 Hive 的 JAR 包。你可以在不依赖 Hive 的情况下,使用SparkHive 上的数据,挺适合有独立 Hive 集群的同学。如果你是那种 Spark 能独立数据,又不想完全依赖 Hive 功能的开发者,这个版本就蛮合适的。
其实,Spark的性能提升蛮,支持批、交互式查询和实时流。就算是没有 Hive JAR 包,你依旧可以通过配置文件来接入 Hive 的元数据。只要在配置文件里设置好spark.sql.hive.metastore.uris
,连接 Hive 的数据源就不成问题了。
总结来说,这个版本让你在不依赖 Hive 功能的情况下,发挥 Spark 计算的优势,操作起来灵活。如果你有相关需求,还是蛮推荐试试的。
Spark Spark2 2..3.0Hadoop2无Hive版3.0Hadoop2版本(不含Hive)
相关推荐
Apache Spark Hadoop2兼容版本,无Hive组件
Apache Spark是Apache软件基金会下的开源大数据处理框架,以高效、灵活和易用性著称。\"spark--bin-hadoop2-without-hive.tgz\"是专为Hadoop 2设计的Spark二进制发行版压缩包,不包含Hive组件,适用于无需Hive环境的系统部署和运行。Spark核心概念包括RDD(Resilient Distributed Datasets)、DataFrame和Dataset,架构涵盖Master、Worker节点及Executor,支持Spark Core、Spark SQL、Spark Streaming、MLlib和GraphX等组件。与Had
spark
7
2024-09-13
Spark 2.4.1Hadoop 2.7版本
嗯,如果你是做大数据相关的开发,已经用过Spark了。说到spark-2.4.1-bin-hadoop2.7.tgz,我觉得这是一个挺实用的版本,下载速度也比较快,尤其是官网那速度慢得要命,这个版本直接保存给自用。你想在本地跑一些小规模的任务,或者试试其他环境兼容性,这个版本挺合适的。此外,你还可以配合一些常见的技术来使用,比如说、Kafka、Flink等,资料一堆,刚好适合练手。如果你想用更高版本的,也可以试试Spark 3.5.1。不过这个版本稳定性挺好的,所以也不一定非得换版本。推荐给了,速度比较快,适合做开发用哦。
spark
0
2025-06-13
Spark 2.3.1 Hadooop 2.9 无 Hive 版本
此版本 Spark 2.3.1 为无 Hive 版本,使用 Maven 重新编译 Spark 源代码,可用于实现 Hive on Spark 功能。
spark
15
2024-05-13
Hadoop、Hive、Spark 配置修改指南
Hadoop、Hive、Spark 配置修改
本指南介绍如何在 Hadoop、Hive 和 Spark 中修改和添加配置信息。
Hadoop 配置
Hadoop 的配置文件位于 $HADOOP_HOME/etc/hadoop 目录下。
一些常用的配置文件包括:
core-site.xml:Hadoop 核心配置
hdfs-site.xml:HDFS 配置
yarn-site.xml:YARN 配置
mapred-site.xml:MapReduce 配置
可以通过修改这些文件中的属性来配置 Hadoop。
Hive 配置
Hive 的配置文件位于 $HIVE_HOME/conf 目录下。
Hadoop
17
2024-05-20
spark2.0版hive on spark适合hive2.3
spark中不要有hive的jar包,需重新编译,适用于hive2.3、hadoop2.7.6
spark
21
2024-04-30
Hadoop集群Hive和Spark连接驱动
提供Hortonworks Hive ODBC和Microsoft Spark ODBC连接驱动,支持32位和64位系统。
Hive
29
2024-04-29
Apache Spark 2Cookbook第2版
分布式计算的大杀器,Apache Spark的实战宝典来了。Apache Spark 2 Cookbook(2nd)是一本英文电子书,内容挺扎实,覆盖了Spark SQL、Streaming、MLlib等核心模块。每一章都像是一个小项目,适合边看边撸代码。尤其是对你这种已经入门、想系统提升的前端转大数据的同学,真的挺友好。
章节结构清晰,也不啰嗦,基本上是“上来就是干”的风格,比较实用。比如你想快速搭个Spark Streaming环境,照着文档敲,基本不会踩坑。写法偏工程化,不讲大道理,反倒贴合工作场景,像是老司机手把手教你搭系统。
哦对了,顺手贴几个相关资料,感兴趣可以一起看:Spark
spark
0
2025-06-13
windows安装spark2软件包.zip
windows安装spark2软件包包括:
spark-2.3.0-bin-hadoop2.7.tgz spark的压缩包
scala-2.11.8.zip scala的压缩包
hadoop-2.7.1.tar.gz 基础hadoop包
apache-maven-3.6.3-bin.zip maven压缩包
winutils-master.zip 解决windows下spark的问题(可以不用)
spark
21
2024-07-12
Spark+Hadoop+Hive+Zookeeper 集群搭建指南 (上)- Hadoop 3.3.3
软件版本 Hadoop: 3.3.3 Spark: 3.2.1 (Hadoop 3.2 兼容版本) Hive: 3.1.3 Zookeeper: 3.5.10 MySQL: 8.0.29 (适用于 CentOS/RHEL 8 x86_64 架构)## 文件列表 hadoop-3.3.3.tar.gz spark-3.2.1-bin-hadoop3.2.tgz apache-hive-3.1.3-bin.tar.gz apache-zookeeper-3.5.10-bin.tar.gz mysql-8.0.29-1.el8.x86_64.rpm-bundle
Hadoop
11
2024-05-21