如果想连接外部已经部署好了Hive,以下步骤: 1、Spark要接管Hive需要把hive-site.xml复制到spark/conf/目录下。
这样启动spark读取conf读取文件时,会读取文件hive-site这个文件下的hive数仓。
还需要你在那里 jars mysql-connector-java-5.1.27-bin.jar 包放到spark/jars接下来,用于连接访问hive元数据库的jdbc客户端。 3.如果不能访问hdfs,则把core-site.xml和hdfs-site.xml复制到spark/conf/目录下。
4、退出spark,重新执行spark-shell命令启动spark。 5、输入spark.sql(“show tables”).show,查看hive中的数据表
可以看到Hive中的tb_dept、tb_emp两个表。