资讯详情

spark连接外置hive数仓的方法

如果想连接外部已经部署好了Hive,以下步骤: 1、Spark要接管Hive需要把hive-site.xml复制到spark/conf/目录下。 在这里插入图片描述 这样启动spark读取conf读取文件时,会读取文件hive-site这个文件下的hive数仓。

还需要你在那里 jars mysql-connector-java-5.1.27-bin.jar 包放到spark/jars接下来,用于连接访问hive元数据库的jdbc客户端。 3.如果不能访问hdfs,则把core-site.xml和hdfs-site.xml复制到spark/conf/目录下。

4、退出spark,重新执行spark-shell命令启动spark。 5、输入spark.sql(“show tables”).show,查看hive中的数据表

可以看到Hive中的tb_dept、tb_emp两个表。

标签: 伟力通外置胎压传感器换电池

锐单商城拥有海量元器件数据手册IC替代型号,打造 电子元器件IC百科大全!

 锐单商城 - 一站式电子元器件采购平台  

 深圳锐单电子有限公司