spark获取hadoop服务token-CSDN博客
| 阿里云国内75折 回扣 微信号：monov8 |
| 阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6 |
spark 作业一直卡在accepted
问题现象
通过yarn-cluster模式提交spark作业客户端日志一直卡在submit app没有运行
问题排查
1.查看yarn app日志
appid已生成通过yarn查看app状态为等待am运行。具体查看am日志发现其一直在尝试访问hbase尝试了36次后失败(集群hbase服务已正常停止)
问题作业逻辑中不含hbase的相关内容为什么会去访问hbase
2.问题分析与原因
分析
通过上面截图的堆栈信息查看从obtainDeletionTokens方法到HBaseDelegationTokenProvider的obtainDeletionTokens方法说明这里是去尝试获取hbase的安全令牌。
(hbase的token获取的用户需要具有hbase:meta表的exec权限)
原因
spark 官方文档
- 在官网的文档描述kerberos环境中spark app在认证的时候可能会获取hdfs、hive、hbase等服务的安全令牌。
- 获取hbase的条件hbase位于集群classpath同时集群hbase开启了kerberos认证。
- 所以 我们想跳过这个过程需要提交作业时传入spark.yarn.security.credentials.hbase.enabled=false
| 阿里云国内75折 回扣 微信号：monov8 |
| 阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6 |