暂无图片
暂无图片
暂无图片
StoneDB学术分享会
2022-08-31 15:40:09 5477
简介:解读最新的前沿数据库论文,重点关注HTAP相关学术进展
干货分享,现代列式数据库系统如何设计与实现? | StoneData 论文选读
列存四先驱和MIT知名教授SamuelMadden于2013年在某期刊上写的一篇当时列存相关技术的综述。文章还挺全面也很经典,通过剖析三个经典的现代列存的数据库Cstore、MonetDB、VectorWise,阐述了各项单独技术的来龙去脉和相辅相成的关系。
StoneDB
2023-09-01
177 浏览
为MySQL新增一张performance_schema表 | StoneDB 技术分享会 #4
设计:小艾审核:丁奇、李浩编辑:宇亭作者:王若添中国科学技术大学软件工程在读硕士、StoneDB内核研发实习生performanceschema简介MySQL启动后会自动创建四个data
StoneDB
2023-08-11
158 浏览
技术分享 | StoneData 的身份认证与访问控制策略:构建安全可靠的数据分析环境
随着数据分析在企业和组织中的重要性不断增加,数据仓库成为处理大规模数据集和支持复杂分析的首选解决方案,如何保障数据安全由此成为了在数据分析过程中不可忽视的重要问题。身份认证与访问控制策略是构建安全可靠的数仓环境的核心要素,StoneData作为一款新一代高性能、低成本的一站式实时数仓,已具备健全的身份认证与访问控制能力。本文将围绕着账号合规、密码策略、主机名校验和基于角色的访问控制模型等,详细介StoneData的身份认证与访问控制能力。
StoneDB
2023-08-07
193 浏览
快照隔离级别原理 | StoneDB 技术分享 #1
ANSISQL92标准中规定了四种事务隔离级别和三种异象:读未提交、读已提交、可重复读和串行化,其中读已提交解决了脏读,可重复读解决了脏读和不可重复读,串行化解决了脏读、不可重复读和幻读。上述这些内容是为人所熟知的,故不是本文的主角。本文的主角是快照隔离级别,同时引入新的异象写偏斜。SI不属于SQL标准的一部分,是对SQL标准的补充。注意,上表中的读已提交、可重复读中的部分内容和innodb中的有些不符,原因是innodb中的RC和RR包括快照读和当前读两种情况,具体会在下面进行分析。一般而言,SI是用多版本并发控制实现的。除了MVCC之外,SI中的每个事务需要分配2个时间戳,一个在事务开始的时候分配,一个在事务结束的时候分配。一个完整的MVCC协议包括并发控制协议、多版本的存储、垃圾回收和索引管理四个部分。同时每条数据记录也有一个rollpointer的隐藏字段,指向该条记录上一次修改对应的undolog。如果被访问版本的trxid大于等于ReadView中的maxtrxid,该版本不可以被当
StoneDB
2023-07-19
270 浏览
SAP HANA 数据库—架构概览 | StoneDB学术分享会 #6
本篇是StoneDB学术分享会专栏的第六篇,在上一期里,我们分享了奠定HTAP数据库基础的现象级论文《ACommonDatabaseApproachforOLTPandOLAPUsinganInMemoryColumnDataBase》。解读《ACommonDatabaseApproachforOLTPandOLAPUsinganInMemoryColumnDataBase》
StoneDB
2023-02-16
1108 浏览
哪篇论文宣布了HTAP数据库的诞生?StoneDB带您解读《A Common Database Approach for OLTP and OLAP Using an In-Memory Column DataBase》
本文是StoneDB学术分享会专栏的第五篇,我们来分享一下HTAP学术界上比较经典的一篇论文《ACommonDatabaseApproachforOLTPandOLAPUsinganInMemoryColumnDataBase》。为什么说这篇论文经典呢,因为这篇论文来自国际著名厂商,号称欧洲最大的软件公司SAP(思爱普,截止发稿市值为1283.17亿美元)的创始人HassoPlattner(哈索·普拉特纳)教授,该文作为Keynote在2009年的数据库国际顶会SIGMOD上正式发布,可以说,这篇把MichaelStonebraker都气到变脸的论文一经发表,就此掀开了HTAP数据库的历史序幕,也催生了后来都能和Oracle抢大单生意的数据库SAPHANA。
StoneDB
2022-12-16
237 浏览
一种面向数据库的低代码平台_陈佳文_CN 114756233 A_石原子.pdf
本发明属于应用程序开发技术领域,具体为 低代码平台,所述页面数据库,用于存储常用的 平台页面,并对平台页面的图像进行显示;所述 页面选取模块,用于从所述页面数据库中选取平 台页面,并将选中的平台页面导入所述解释器; 所述解释器,用于解析导入的平台页面,并生成 页面配置信息,然后对页面配置信息进行分类, 并将分类结果用图像进行显示;所述渲染器,用 于从分类的页面配置信息中选取需要的页面配 置信息,然后利用选取的页面配置信息渲染平台 页面;本发明简单明了,非技术人员也可以作为 使用人员,不要技术人员进行平台页面的开发, 不但方便系统的推广,还可以大幅度降低开发系 统的成本,从而使得开发系统的效率大幅提升。
StoneDB
2022-11-28
150 浏览
6页
0 下载
一种通用的实时查询引擎_王万平_CN 114756632 A_石原子科技.pdf
本发明属于数仓技术领域,具体为一种通用 的实时查询引擎,包括注册模块、数据接入模块、 查询模块、数据清理模块以及FoundationDB;所 述注册模块,用于在FoundationDB上建立表格以 及注册索引,表格用于辅助数据的导入以及查 询,索引用于调用FoundationDB的查询能力;所 述数据接入模块,用于录入数据以及提供插件扩 展机制,插件扩展机制可以通过插件提取不同格 式的数据,最后将录入的数据及提取的数据写入 FoundationDB的表格中;注册模块支持数据的表 格建模,数据接入模块具有灵活的数据接入能 力,提供插件扩展机制支持各种数据格式的录 入,查询模块支持新数据的事实查询,从而实现 新写入的数据实时可查,数据清理模块可以对过 期数据进行清理,进而避免过期占用内存。
StoneDB
2022-11-28
161 浏览
6页
0 下载
一种数据仓库的多工作负载设计方法_徐辛_CN 114547211 A_石原子科技.pdf
本发明属于数据仓库设计技术领域,具体为 一种数据仓库的多工作负载设计方法,该数据仓 库的多工作负载设计方法包括:自动挂起和自动 恢复、自动扩容和自动缩容;自动挂起和自动恢 复:自动挂起和自动恢复主要是为了实现周期性 任务的自动执行以及自动资源释放;自动扩容和 自动缩容:自动扩容和自动缩容所实现的原理是 相同的,此场景主要出现在实时计算任务中,减 少人力管理成本且降低出错风险,无需再需要人 为控制周期性任务的执行和关闭,节省计算资源 开支,自动化的实现自动挂起、自动恢复以及自 动扩缩容,用最小计算资源满足最大需求,最大 程度满足计算需求,第一时间满足实时数据量激 增情况下对计算资源的扩容需求。
StoneDB
2022-11-28
162 浏览
7页
0 下载
一种实现用户数据多层级隔离的用户模型_肖圣龙_CN 114547671 A_石原子科技.pdf
本发明属于用户模型技术领域,具体为一种 实现用户数据多层级隔离的用户模型,该实现用 户数据多层级隔离的用户模型的基础部件包括 用户池、用户、关联关系和关联关系标识;用户 池:用于存放用户数据,用户池与用户池之间的 用户数据相互隔离;用户:用于记录用户数据;关 联关系:用于表明用户池与用户之间的组成情 况;关联关系标识:用于表明用户池与用户之间 的组成数量,灵活性高,可根据实际的隔离需要 设定相应的隔离层级,可满足传统IAM、云服务 商、IDaaS等系统的用户数据多层级隔离需求。
StoneDB
2022-11-28
126 浏览
6页
1 下载
一种跨公有云平台的数据仓库系统及其设计方法_徐辛_CN 114466068 A_石原子科技.pdf
本发明属于平台数据管理技术领域,具体为 一种跨公有云平台的数据仓库系统及其设计方 法,包括数据迁移模块和数据处理任务迁移模 块,所述数据迁移模块包括用户数据动态监听单 元、数据错误判断单元、未使用数据迁移单元、数 据使用完毕信息传送单元、数据使用完毕迁移单 元和存储资源释放单元,该数据仓库系统让用户 有了更多的选择自由,促进技术的良性发展,促 进了数据的跨云流动,可以产生更大的数据价 值,通过创新性的技术对数据以及数据处理任务 进行跨云迁移,为用户屏蔽所有的复杂工作,用 户拥有更多的主动权和话语权,可随时将自己的 数据和任务跨云迁移,借此获得最高的产品性价 比。
StoneDB
2022-11-28
151 浏览
11页
0 下载
一种兼容数据仓库和数据湖的数据存储平台构建方法_徐辛_CN 114528273 A_石原子科技.pdf
本发明公开的属于数据处理技术领域,具体 为一种兼容数据仓库和数据湖的数据存储平台 构建方法,包括以下步骤:步骤1:采用列式存储 以及行列混存对数据湖和数据仓库的数据进行 存储;步骤2:对数据仓库和数据湖的存储层进行 整合,并采用分区的方式独立区隔数据湖和数据 仓储的存储区域;步骤3:构建统一的元数据管理 层,通过本层实现对上层应用负载屏蔽底层存储 实现细节,提供对上层应用负载的统一数据服 务,本发明不仅可以保证数据湖和数据仓库的正 常使用,还可以解决在两个产品之间存在的数据 冗余问题并向用户提供全局统一的数据管理视 图,进一步的还能够减少并简化了技术栈,减少 整体的管理和运维成本减少数据冗余和存储成 本。
StoneDB
2022-11-28
206 浏览
6页
0 下载
如何给一个 HTAP 数据库做基准测试? | StoneDB学术分享会 #4
在最新一届国际数据库顶级会议ACMSIGMOD2022上,来自清华大学的李国良和张超两位老师发表了一篇论文:《HTAPDatabase:WhatisNewandWhatisNext》,并做了《HTAPDatabase:ATutorial》的专项报告。这几期学术分享会的文章,StoneDB将系统地梳理一下两位老师的报告,带读者了解HTAP的发展现状和未来趋势。一篇Paper带您读懂HTAP|StoneDB学术分享会第①期119赞同·6评论文章。我们对HTAP产生的背景和现有的HTAP数据库及其技术栈做了比较全面的介绍。143赞同·0评论回答。我们对HTAP的五大关键技术进行了逐个解读。本期主要介绍一下主流的几个的HTAP数据库基准测试。
StoneDB
2022-10-28
572 浏览
爆肝整理5000字!HTAP的关键技术有哪些?| StoneDB学术分享会第三期
在最新一届国际数据库顶级会议ACMSIGMOD2022上,来自清华大学的李国良和张超两位老师发表了一篇论文:《HTAPDatabase:WhatisNewandWhatisNext》,并做了《HTAPDatabase:ATutorial》的专项报告。这几期学术分享会的文章,StoneDB将系统地梳理一下两位老师的报告,带读者了解HTAP的发展现状和未来趋势。一篇Paper带您读懂HTAP这期分享中我们已经把HTAP产生的背景和现有的HTAP数据库及其技术栈做了一个简单的介绍,这一期,我们将着重讲一讲报告中对HTAP关键技术的解读。本篇报告中主要介绍了HTAP的五大类关键技术,分别是:TransactionProcessing(事务处理技术)AnalyticalProcessing(查询分析技术)DataSynchronization(数据同步技术)QueryOptimization(查询优化技术)ResourceScheduling(资源调度技术)
StoneDB
2022-09-23
355 浏览
解读《Benchmarking Hybrid OLTP&OLAP Database Systems》| StoneDB 学术分享会
现在对于很多HTAP数据库厂商来说,对外所发布的性能对比数据都是以TPCH为基准,但是单方面或者说只看一个TPCH真的能真实地反映出这些HTAP数据库的指标吗?这篇来自德国慕尼黑工业大学数据库研究组的Paper就给大家介绍了一种专门针对HTAP数据库测评的标准,真正的从HTAP的基础出发,引出如何正确地评测一款HTAP数据库产品。
StoneDB
2022-09-09
237 浏览
深度干货!一篇Paper带您读懂HTAP | StoneDB学术分享会第①期
在最新一届国际数据库顶级会议ACMSIGMOD2022上,来自清华大学的李国良和张超两位老师发表了一篇论文:《HTAPDatabase:WhatisNewandWhatisNext》,并做了《HTAPDatabase:ATutorial》的专项报告。本篇文章,我们将系统地梳理一下两位老师的报告,带读者了解HTAP的发展现状和未来趋势。
StoneDB
2022-08-31
700 浏览
专栏作者
暂无图片
近期活动
ACDU读书会-大咖荐书第一期
04/08 19:30 0人报名
【开始报名啦】4月12日 TiDB社区活动在南京!传统技术栈替换和 AI 浪潮正当时,面向未来的国产数据库怎么选择?
04/12 14:00 0人报名
Apache Cloudberry™ (Incubating) Meetup · 杭州
04/19 14:00 1人报名