暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

读者来信 | HBase BulkLoad 报错 “bulk load aborted...”(已解决)

HBase工作笔记 2020-03-07
2629

前言:之前有朋友加好友与我探讨一些问题,我觉得这些问题倒挺有价值的;于是就想在本公众号开设一个问答专栏,方便技术交流与分享,专栏名就定为:《读者来信》。如遇到本人能力有限难以解决的问题,我将转发该文至我的资源圈尽力寻求大佬们出手帮助,并附上提问者微信二维码,希望给大家提供这样一个互帮互助解决问题的平台。也诚挚地欢迎大家能在留言区积极探讨解决方案,大胆发表自己的看法~

来信人:罗*铭

小猿提问

因为并发比较大,想试试HBase BulkLoad方式加载HFile,但Load HFile的时候失败了,请问是怎么回事呢?报错如下:

ERROR: bulk load aborted with some files not yet loaded.

复制

小猿分析

凭经验,HBase Load HFile Fail 大多是原因都是因为权限问题导致的。经了解,这位朋友确实是用root用户跑的程序。

小猿解答

解决办法:使用HBase授权账户重新执行程序或放宽HDFS相关目录读写权限。(建议前者)


BulkLoad HFile 本质上是把HFile文件从用户数据目录rename到HBase的数据目录,因此操作用户不仅要有用户数据目录及HFile文件的读权限,还要有对HBase数据目录/HFile的读写权限和对HBase表的CREATE(建表)权限。


如果您有更好的解决方案,一定要在留言区留言哦~

关注公众号可查阅更多精彩文章
一个就是一份莫大的赞赏!
文章转载自HBase工作笔记,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论