cdh开启sentry之后,hive on spark报错,网上的方法再也没有解决我的问题,经过一番探索,终于解决了。
报错日志:
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 2b98a332-72e0-4917-9357-5c1799e4a3ae_1: java.lang.RuntimeException: spark-submit process failed with exit code 1 and error ?
解决办法:
将hive在hdfs上述数据目录(默认为/user/hive)用户和组改为为hive:hive,权限为771
其他在线方法:
- 版本不匹配 一般情况下不会出现,以前是HDP我见过面,换了版本,但是这个方法不是很好,很麻烦。
- yarn 资源配置问题 保证spark executor的内存和overhead内存相加小于yarn一般来说,容器可分配的内存小于,除非您手动更改配置
- spark服务尚未启动 这个就不说了,反思一下面壁。
- 配置有问题 假如你安装了apache如果这个配置比较麻烦,可以参考hive官网相关配置
如果还没有解决,可以重新运行任务,然后从hiveserver2.log仔细寻找线索,一定要一行一行地看。