速记:
Hbase web UI 发现某Region长期处于如下状态:
app_user_isnew,02,1517807389209.3eb41df715cdd0f9a2b0ce6550b586b3. state=PENDING_OPEN, ts=Wed Mar 14 21:22:10 CST 2018 (396447s ago), server=yq-hadoop184132,60020,1520836279511
Regions in Transition,没错,出现了RIT。
执行 hbase hbck 命令检查:
ERROR: Region { meta => app_user_isnew,02,1517807389209.3eb41df715cdd0f9a2b0ce6550b586b3., hdfs => hdfs://yq-hadoop19:8020/hbase/data/default/app_user_isnew/3eb41df715cdd0f9a2b0ce6550b586b3, deployed => , replicaId => 0 } not deployed on any region server. 18/03/19 11:40:08 INFO util.HBaseFsck: Handling overlap merges in parallel. set hbasefsck.overlap.merge.parallel to false to run serially. ERROR: There is a hole in the region chain between 02 and 03. You need to create a new .regioninfo and region dir in hdfs to plug the hole. ERROR: Found inconsistency in table app_user_isnew
复制
检查结果显示,该表存在一个 空洞 问题,我们定位到如下分区:
| app_user_isnew,02,1517807389209.3eb41df715cdd0f9a2b0ce6550b586b3. | yq-hadoop184140:60020| 02 | 03 |
复制
检查Hbase元数据,元数据是存在的,如下:
hbase(main):053:0> get'hbase:meta','app_user_isnew,02,1517807389209.3eb41df715cdd0f9a2b0ce6550b586b3.' COLUMN CELL info:regioninfo timestamp=1517807391090, value={ENCODED => 3eb41df715cdd0f9a2b0ce6550b586b3, NAME => 'app_user_isnew,02,1517807389209.3eb41df715cdd0f9a2b0ce6550b586b3.', STARTKEY => '02', ENDKEY => '03'} info:seqnumDuringOpen timestamp=1520449077356, value=\x00\x00\x00\x00\x00\x00\x00\x13 info:server timestamp=1520449077356, value=yq-hadoop184140:60020 info:serverstartcode timestamp=1520449077356, value=1520214106665 4 row(s) in 0.0070 seconds
复制
检查HDFS目录文件,发现.regioninfo文件也是存在的,如下:
$ hdfs dfs -ls hbase/data/default/app_user_isnew/3eb41df715cdd0f9a2b0ce6550b586b3 Found 3 items -rw-r--r-- 3 hbase hbase 53 2018-02-05 13:09 /hbase/data/default/app_user_isnew/3eb41df715cdd0f9a2b0ce6550b586b3/.regioninfo drwxr-xr-x - hbase hbase 0 2018-02-05 13:09 /hbase/data/default/app_user_isnew/3eb41df715cdd0f9a2b0ce6550b586b3/f1 drwxr-xr-x - hbase hbase 0 2018-03-08 02:57 /hbase/data/default/app_user_isnew/3eb41df715cdd0f9a2b0ce6550b586b3/recovered.edits
复制
既然元数据表和HDFS目录中都有,那应该是该region注册的问题,我们执行以下命令:
hbase hbck -fixAssignments
此命令用于修复未分配,错误分配或者多次分配Region的问题。
执行结果如下:
# hbase hbck -fixAssignments 18/03/19 14:14:19 INFO Configuration.deprecation: fs.default.name is deprecated. Instead, use fs.defaultFS HBaseFsck command line options: -fixAssignments 18/03/19 14:14:19 WARN util.HBaseFsck: Got AccessDeniedException when preCheckPermission org.apache.hadoop.hbase.security.AccessDeniedException: Permission denied: action=WRITE path=hdfs://yq-hadoop19:8020/hbase/.hbase-snapshot user=hdfs at org.apache.hadoop.hbase.util.FSUtils.checkAccess(FSUtils.java:1797) at org.apache.hadoop.hbase.util.HBaseFsck.preCheckPermission(HBaseFsck.java:1929) at org.apache.hadoop.hbase.util.HBaseFsck.exec(HBaseFsck.java:4731) at org.apache.hadoop.hbase.util.HBaseFsck$HBaseFsckTool.run(HBaseFsck.java:4559) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84) at org.apache.hadoop.hbase.util.HBaseFsck.main(HBaseFsck.java:4547) Current user hdfs does not have write perms to hdfs://yq-hadoop19:8020/hbase/.hbase-snapshot. Please rerun hbck as hdfs user hbase
复制
错误显示我们应该使用hbase用户执行该命令,使用hbase用户执行。
sudo -u hbase hbase hbck -fixAssignments
执行后结果: 0 inconsistencies detected. Status: OK
复制解决!
参考文献
1. hbase 修复 hbck: http://www.cnblogs.com/xjh713/p/6913042.html
文章转载自HBase工作笔记,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。
评论
相关阅读
数据库国产化替代深化:DBA的机遇与挑战
代晓磊
1275次阅读
2025-04-27 16:53:22
2025年4月国产数据库中标情况一览:4个千万元级项目,GaussDB与OceanBase大放异彩!
通讯员
751次阅读
2025-04-30 15:24:06
国产数据库需要扩大场景覆盖面才能在竞争中更有优势
白鳝的洞穴
616次阅读
2025-04-14 09:40:20
【活动】分享你的压箱底干货文档,三篇解锁进阶奖励!
墨天轮编辑部
521次阅读
2025-04-17 17:02:24
一页概览:Oracle GoldenGate
甲骨文云技术
484次阅读
2025-04-30 12:17:56
GoldenDB数据库v7.2焕新发布,助力全行业数据库平滑替代
GoldenDB分布式数据库
475次阅读
2025-04-30 12:17:50
优炫数据库成功入围新疆维吾尔自治区行政事业单位数据库2025年框架协议采购!
优炫软件
364次阅读
2025-04-18 10:01:22
给准备学习国产数据库的朋友几点建议
白鳝的洞穴
337次阅读
2025-05-07 10:06:14
XCOPS广州站:从开源自研之争到AI驱动的下一代数据库架构探索
韩锋频道
295次阅读
2025-04-29 10:35:54
国产数据库图谱又上新|82篇精选内容全览达梦数据库
墨天轮编辑部
281次阅读
2025-04-23 12:04:21