暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

软硬结合,如何在数据库中探索与实践?

156

内容来自2022年9月中国数据库行业分析报告(软硬兼施,创新融合)”,数据库围绕处理器、内存、存储和网络四个硬件架构方向不断突破和创新,如多核中央处理器、异构处理器GPU/TPU/DPU、可编程专业处理器FPGA、CXL+DDR5、持久内存PMem、存储级内存技术SCM、NVMe+SSD+NVMe-oF、RDMA+软件定义存储等,用于同时满足海量数据存储和高并发实时计算的场景。

支持数据库日志存储和复制的X-SSD
XSSD架构,这是一类基于事务日志工作负载设计的固态硬盘。X-SSD设备提供了以低延迟接受可字节寻址请求的快速端,用于事务日志记录。而传统端提供传统的SSD块接口来接受常规的工作负载。双方紧密结合,使得数据可以从快速端无缝转移到常规端。
此外,不同设备实例的快速端也可以通信,允许日志工作负载在X-SSD设备之间以低延迟远程传输。数据库可以使用这些数据传播特性来构建不同的事务日志和基于日志传送的复制方案。
加速OLTP数据库的图形处理器Gacc0
对于执行OLTP工作负载, Gacc0实现了一种新颖的方案,将执行过程在CPU和GPU之间分割,使用这样一种协同执行方案。Gacc0不仅可以通过将相同类型的事务分组,批有效地利用GPU的向量化执行,而且还可以通过利用GPU内存之外的CPU内存来支持比设备内存更大的数据库。在TPC-C进行的评估中,与纯基于cpu的OLTP执行相比,Gacc0可以使OLTP工作负载提高至6倍。
Gacc0的存储方案:
• Gacc0实现了一种复制存储方案,在CPU中保存所有数据的主副本,而在GPU中保存数据的副副本。
• 存储方案的第一个重要方面是, Gacc0不要求将所有数据复制到GPU表中。相反,只复制CPU表的一个子集,甚至单个CPU表的元组的一个子集可以复制到 Gacc0中的GPU上。
• 在 Gacc0的这种部分复制方案下,高效执行的关键是,只有当事务能够在GPU上完全执行时,它们才会被发送到GPU。
混合PMem-DRAM持久哈希索引Halo
基于RDMA的分布式B+树索引Sherman
Sherman是一种基于分块内存的写优化的分布式B+树索引,在商用RDMA网卡中提供高性能。Sherman结合了RDMA硬件特性和RDMA的软件技术,从三个角度提高了索引写性能。首先,为了减少往返,Sherman通过利用RDMA的顺序交付特性来合并相关的RDMA命令。其次,为了加速并发访问,Sherman引入了一种利用RDMA网卡片上内存的分层锁。
最后,为了减少写扩增,Sherman采用两级版本机制对B+Tree的数据结构布局进行了调整。经过评估表明,与最先进的设计相比,在典型的写密集型工作负载下,Sherman的吞吐量和延迟都要快一个数量级。
用于NVM的高吞吐量无日志OLTP引擎Zen
Zen是一个用于NVM的高吞吐量无日志OLTP引擎,每个基表都有一个混合表( HTable)。它由NVM中的元组堆、DRAM中的 met cache和每个线程的NVM元组管理器组成。Zen在NVM元数据中存储表模式和粗粒度分配结构。此外,Zen将索引和事务私有数据保存在DRAM中。
基于Flash的高效时序数据缓存系统设计
TSCache作为一种通用的分布式缓存服务,在高速、大容量的闪存中维护用户提供的时间序列数据,并响应用户检索存储数据的请求。TSCache不直接与后端时间序列数据库交互,这意味着 TSCache不是客户机和数据库服务器之间的中间层,这使TSCache可以同时为各种时间序列数据库提供通用的缓存服务。
作为抽象时间序列缓存服务, TSCache为用户提供了一个简单的、基于时间范围的、类似键值的接口,以便轻松地在缓存中存储和检索数据。
分析数据库的统一缓存存储系统Crystal
Crystal是一种新的“智能”存储中间件 ,它与数据库解耦,位于数据库和原始存储之间。Crystal可以被视为用于存储的迷你DBMS或缓存管理系统(CMS)。它作为两个子组件运行:
· Crystal CMS运行在计算节点上,本地“客户端”可以访问,并能够与远程存储交互。
· Crystal的客户端称为连接器,是特定于db的适配器,它们自己使用下推谓词实现数据源APl,类似于今天的CSV和 Parquet数据源
基于GPU空间数据库引擎的硬件SPADE
SPADE,一个基于GPU的空间数据库引擎,它支持丰富的空间查询集。通过采用canvas数据模型和gpu友好的代数, Spade能够支持丰富的查询类型集。此外,由于代数运算符改编自通用的计算机图形操作,GPU为此进行了优化,这有可能利用硬件提供的计算能力。Spade使用计算机图形管道来实现操作符,所以它是可移植的,可以在任何GPU硬件上运行。
数据库软件通过不断适应硬件能力,在性能上可以不断作出突破,打破传统数据库的边界,找到更广阔的应用场景,为企业创造价值。适配新硬件、打造新架构,成为数据库技术发展的重要趋势。
Exadata X9M 功能特点
Oracle Exadata X9M 通过集成设计为Oracle数据库带来了卓越的性能、极佳的成本效益和极高的可用性。采用支持云的现代化架构,内含可横向扩展的高性能数据库服务器、智能存储服务器(配有先进的PCIe闪存)、使用持久性内存的先进存储缓存以及连接所有服务器和存储的云级RoCE内部结构。
采用独有的算法和协议,在存储、计算和网络中实现了数据库智能,以极低的成本提供更高的性能和容量,适用于联机事务处理(OLTP)、数据仓库(DW)、内存分析、物联网(IoT)、财务、游戏等类型的数据库负载,部署简单、快速,能为数据库提供全面的支持和保护。
openGauss针对多核和大内存的内核创新
openGauss作为一款开源关系型数据库管理系统,针对CPU NUMA 化的硬件发展趋势,从并发控制算法内核数据结构数据访问等全方位进行了优化,释放处理器多核算力,实现两路鲲鹏128核场景150万tpmC性能。同时针对多核和大内存服务器进行了优化,引入了MOT(Memory-Optimized Table,MOT)存储引擎,它为事务性工作负载提供更高的性能
达梦DAMENG PAI、PBData-V、zData、QData、TData
达梦数据库一体机 DAMENG PAI基于达梦独有的信息生态和共享存储集群技术打造的软硬一体产品。该产品旨在通过工程化的手段,为金融、电信、央企、政府机构等高度依靠 IT 技术支撑的行业用户,提供高性能、高可用、易维护、可扩展的全栈数据库服务。
PBData-V 数据库一体机是上海天玑数据技术有限公司为各种数据库环境设计的融合架构,通过一体化的交付方式简化数据库平台的基础架构建设与运维,将复杂的硬件集成与调优工作封装于系统内部,向用户提供开箱即用的数据库云平台。
zData是云和恩墨自主研发的、拥有卓越性能的数据库一体机。该产品基于云化架构,是Oracle数据库高性能运行平台。硬件方面以x86服务器和闪存为基础,并通过高速互连网络构建数据库运行的通路;软件方面实现多租户、高可用、高安全的分布式存储和资源统一管理。
QData 是沃趣科技推出的一款高性能数据库一体机产品,通过将 Oracle 数据库、PC Server、Flash 技术整合在一起,提供高可用、高性能、可扩展的数据库服务,适用于 OLTP 和 OLAP 各种应用场景。
TData 是腾讯云开发的数据库一体机,它融合了高性能计算、热插拔闪存、Infiniband 网络、RDMA 远程直接存取数据的数据库解决方案,适用于 OLAP、 OLTP 以及混合负载等各种应用场景下的极限性能需求,支持在线横向扩展,根据用户需求增加计算节点、存储节点,支持多套TData 数据库一体机级联。支持 Oracle、SQL Server、MySQL 和 PostgreSQL 等各种主流数据库。

下载链接:

2022年月度数据库行业分析报告
2022年8月中国数据库行业分析报告
2022年9月中国数据库行业分析报告

转载申明:转载本号文章请注明作者来源,本号发布文章若存在版权等问题,请留言联系处理,谢谢。

推荐阅读
更多架构相关技术知识总结请参考“架构师全店铺技术资料打包”相关电子书
全店内容持续更新,现下单“架构师技术全店资料打包汇总(全)”,后续可享全店内容更新“免费”赠阅,价格仅收198元(原总价350元)。


温馨提示:
扫描二维码关注公众号,点击小程序链接获取架构师技术联盟书店电子书资料详情

文章转载自架构师技术联盟,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论