解决DS任务调度平台任务失败

ERROR client.SparkClientImpl - Timed out

waiting for client to connect.

报错信息

在DS任务调度平台查看任务示例情况发现，其中一个工作流失败；平台查看日志详情

根据显示的IP地址、路径，登录服务器进行查看

打印日志，查看情况

[root@k8snode2 ~]# cd /data/bigdata/dolphinscheduler/
[root@k8snode2 dolphinscheduler]# ls
bin conf install.sh lib logs pid script sql ui
[root@k8snode2 dolphinscheduler]#
[root@k8snode2 dolphinscheduler]# cd logs/
[root@k8snode2 logs]# cd 8888414361152_2/
[root@k8snode2 8888414361152_2]#
[root@k8snode2 8888414361152_2]# cd 163839
[root@k8snode2 163839]#
[root@k8snode2 163839]# ll
总用量 152
-rw-r--r-- 1 root root 151765 12月 4 02:34 239659.log
[root@k8snode2 163839]#
[root@k8snode2 163839]# cat 239659.log

解决

一、版本不匹配

去hive的lib目录下查看

查看hive安装位置 find / -name hive

spark纯净版本和带hadoop依赖的jar包这里都必须是3.0.0。

二、配置问题（解决）

去hive-stie.xml中添加如下配置

增加链接时间

<property>
 <name>hive.spark.client.connect.timeout</name>
 <value>100000</value>
</property>

添加完上述内容后，重启hive服务。 hive --service hiveserver2

查看hive进程 jps -l -m

kill服务

pid为上述查到的hive进程号

再次启动 hive --service hiveserver2

验证时出现问题

重启后，使用DBeaver工具连接hive，发现报错

重新修改配置重启，仍有问题；

切换至Hadoop用户后台启动hive服务 nohup hive --service hiveserver2 & ，DBeaver

工具连接正常。服务器日志无报错。

次日DS平台查看运行情况，成功。