最近群里面讨论HBASE的使用场景,以及是会没落,这个还真是一句话说不清楚。本文讲其中一个场景:详单查询。
背景
某电信项目中采用HBase来存储用户终端明细数据,供前台页面即时查询。HBase无可置疑拥有其优势,但其本身只对rowkey支持毫秒级的快速检索,对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案,但是这些方案要么太复杂,要么效率太低,本文只对基于Solr的HBase多条件查询方案进行测试和验证。
原理
基于Solr的HBase多条件查询原理很简单,将HBase表中涉及条件过滤的字段和rowkey在Solr中建立索引,通过Solr的多条件查询快速获得符合过滤条件的rowkey值,拿到这些rowkey之后在HBASE中通过指定rowkey进行查询。
HBase与Solr系统架构设计
使用HBase搭建结构数据存储云,用来存储海量数据;使用SolrCloud集群用来搭建搜索引擎,将要查找的结构化数据的ID查找出来,只配置它存储ID。
wd代表用户write data写数据,从用户提交写数据请求wd1开始,经历wd2,写入MySQL数据库,或写入结构数据存储云中,wd3,提交到Solr集群中,从而依据业务需求创建索引。
rd代表用户read data读数据,从用户提交读数据请求rd1开始,经历rd2,直接读取MySQL中数据,或向Solr集群请求搜索服务,rd3,向Solr集群请求得到的搜索结果为ID,再向结构数据存储云中通过ID取出数据,最后返回给用户结果。
实现方法有两种
手工编码,直接用HBASE的API,可以参考下文
http://www.cnblogs.com/chenz/articles/3229997.html
可以使用HBASE/Solr的LUNA接口,就不用自己管理两者。
文章转载自HBase技术社区,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。
评论
相关阅读
2025年4月中国数据库流行度排行榜:OB高分复登顶,崖山稳驭撼十强
墨天轮编辑部
1805次阅读
2025-04-09 15:33:27
2025年3月国产数据库大事记
墨天轮编辑部
852次阅读
2025-04-03 15:21:16
2025年3月国产数据库中标情况一览:TDSQL大单622万、GaussDB大单581万……
通讯员
592次阅读
2025-04-10 15:35:48
征文大赛 |「码」上数据库—— KWDB 2025 创作者计划启动
KaiwuDB
493次阅读
2025-04-01 20:42:12
数据库,没有关税却有壁垒
多明戈教你玩狼人杀
477次阅读
2025-04-11 09:38:42
国产数据库需要扩大场景覆盖面才能在竞争中更有优势
白鳝的洞穴
455次阅读
2025-04-14 09:40:20
最近我为什么不写评论国产数据库的文章了
白鳝的洞穴
398次阅读
2025-04-07 09:44:54
天津市政府数据库框采结果公布!
通讯员
352次阅读
2025-04-10 12:32:35
【活动】分享你的压箱底干货文档,三篇解锁进阶奖励!
墨天轮编辑部
345次阅读
2025-04-17 17:02:24
优炫数据库成功入围新疆维吾尔自治区行政事业单位数据库2025年框架协议采购!
优炫软件
334次阅读
2025-04-18 10:01:22
热门文章
Impala 版本 | Apache Impala 4.0 发布了!
2021-07-15 3839浏览
HBase排查|排查解决HBase目录空间占用异常
2020-06-18 3250浏览
数据湖 | 基于 Hudi & Iceberg 如何构建数据湖
2021-08-06 2909浏览
深度剖析HBase负载均衡和性能指标
2018-10-03 2563浏览
记录一次生产上暴力解决HBase RIT问题
2018-08-22 2128浏览
最新文章
Kafka 特性 | 彻底摆脱 ZooKeeper,Kafka3 的 KRaft 机制剖析
2022-02-16 1711浏览
首批+唯一!阿里云实时计算 Flink 版通过信通院大数据产品稳定性测试
2022-02-15 417浏览
Apache Flink 不止于计算,数仓架构或兴起新一轮变革
2022-01-10 246浏览
Flink 特性 | Flink Remote Shuffle 开源:面向流批一体与云原生的 Shuffle 服务
2021-12-03 424浏览
Lindorm 总结|十年磨一剑,云原生多模数据库 Lindorm 2021双十一总结
2021-11-29 947浏览