Spark 环境下的 JDBC 连接,Simba_Spark_JDBC这个驱动还挺靠谱的。用过不少方案,这个兼容性比较好,连 Hive、Hadoop 啥的都能稳稳跑起来,连接也比较快。
压缩包里集成了一堆 Apache 家的库,像HttpComponents、Thrift、ZooKeeper这些,版本也比较新,拿来就能用。平时调试时,日志也挺清晰,出了错好排查。
如果你用的是DbVisualizer,这个驱动配合起来也没什么坑,基本上按文档配置一下,JDBC 地址填好就行,jdbc:spark://host:port
那种格式,蛮直接的。
我自己是跑 Hive on Spark 的时候用的,是配合 Hive 2.3 版本,兼容性比较强。之前试过别的驱动,不是连不上,就是跑查询慢,这个顺滑多。
需要搭环境的话,推荐你看看下面这几个资源,像Hive JDBC 库、Hive2.3 驱动、Qubole 包也都不错,可以互补着用。
如果你正好要在 Spark 环境里做数据,尤其是联接 Hive 数据,那这个驱动包可以试试,用起来比较顺,文档也齐全。