解决一个Sqoop抽数慢的问题,yarn的ATSv2嵌入式HBASE崩溃引起
阿里云国内75折 回扣 微信号:monov8 |
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6 |
新搭建的一个Hadoop环境用Sqoop批量抽数的时候发现特别慢我们正常情况下是一个表一分钟左右批量抽十几个表也就是10分钟的样子结果发现用了2个小时
查看yarn日志
发现有如下情况
主要有两个情况
1.有大量的等待日志Waiting for AsyncDispatcher to drain.Thread state is :WAITING
2.异常中断Interrupted while publishing entity
经网上查询得知这个是因为ATSv2的嵌入式HBASE崩溃需要重置HBASE数据库
步骤如下
1. 停止yarn
在ambari页面上停止yarn
2. 删除zk上的ATSv2 Znode
rmr /atsv2-hbase-unsecure或rmr /atsv2-hbase-secure
3. 删除HDFS上的Hbase嵌入式数据库
hdfs dfs -mv /atsv2/hbase/tmp/
4. 启动yarn
在ambari页面上重新启动yarn
再次重跑任务时间已经明显的降低了。