暂无图片
暂无图片
8
暂无图片
暂无图片
8
暂无图片

GoldenDB革新数据库 DDL 事务执行,提升效率与性能

原创 吾亦可往 2025-03-05
107


在数据库的世界里,数据定义语言(DDL)事务的执行效率一直是个关键问题。传统的 DDL 执行模式,如 copy 模式和 inplace 模式,都存在着明显的局限性,比如执行过程中会阻塞数据操作语言(DML)事务,还会额外消耗大量磁盘空间和引发磁盘 IO,这些问题严重影响了数据库的运行效率和实用性。不过,现在有一种创新的 DDL 事务执行方法,为解决这些问题带来了新的希望。

传统 DDL 执行模式的痛点


在了解新方法之前,我们先来看看传统 DDL 执行模式的问题所在。Copy 模式在执行 DDL 时,需要先创建一个和原表一样的临时表,在临时表上执行 DDL 操作,期间会锁定原表,导致 DML 事务无法执行,对客户端影响极大。而且,创建临时表需要额外的磁盘空间,迁移全量数据还会引发大量磁盘 IO。Inplace 模式虽然是在原表上进行更改,但当需要重建表时,实际上还是在存储引擎内部创建了临时表并进行数据拷贝,同样存在额外空间消耗和磁盘 IO 的问题,并且常见的 DDL 操作,如修改列、删除列、增加列等,都需要走重建模式,会阻塞 DML 事务,实用性大打折扣。

创新方法的核心步骤


这种新的 DDL 事务执行方法主要包括以下几个关键步骤:


  1. 获取并响应 DDL 事务:通过数据库的日志、触发器或其他机制捕获 DDL 语句,对其做出响应。
  2. 查找关联的源数据结构:解析 DDL 事务,明确其事务类型(如 create、alter、drop)和执行对象(如表、索引、视图等),然后在数据库中匹配出与该 DDL 事务关联的源数据结构。
  3. 修改源数据结构:这一步是该方法的核心亮点。首先解析源数据结构的表结构和行结构,它们都包含若干内部列。接着,在表结构和行结构的内部列中分别增加版本列,得到中间数据结构,版本列用于存储 DDL 事务执行后表结构内元数据的版本号,每个版本号记录了表结构相对于上个版本的修改情况。然后,在中间数据结构中增设逻辑映射表,该表用于记录元数据的字段顺序和磁盘存储的物理字段顺序的映射关系。
  4. 执行 DDL 事务:再次解析 DDL 事务,依据事务类型和执行对象对目标数据结构执行 DDL 事务。事务执行完成后,生成执行记录表,记录 DDL 事务执行的表结构内元数据的版本号,并将该版本号插入表结构和行结构对应的版本列中。

应对不同事务类型的策略


针对不同的事务类型,该方法有不同的处理策略:


  • 新增列、删除列或交换列顺序:由于存在逻辑映射表,可以直接在映射表中查找与待执行对象匹配的目标字段,然后根据事务类型对目标字段进行新增、删除或交换顺序操作,无需修改物理存储。
  • 修改列的类型:解析待执行对象的类型,根据目标数据结构将其转化为目标列类型。对于老的记录,在获取时根据最新的 DDL 类型进行强制类型转换。
  • 修改列的目标默认值、目标字符或目标名称:直接获取 DDL 事务携带的目标值,替换待执行对象的历史值。

版本管理与 DML 事务处理


在执行 DDL 事务后,还会对行结构的版本数进行管理。遍历目标数据结构的行结构,计算行结构的版本数,当版本数大于设定的版本阈值时,在行结构的内部列中增加删除列,删除版本号小于或等于阈值的目标行结构,并基于当前版本号新建行结构,以防止行记录元数据过于古老,影响查询效率。


此外,该方法还支持在执行 DDL 事务的过程中响应 DML 事务。根据 DML 事务的类型,对目标数据结构执行相应的操作,如行记录删除时直接打删除标签,插入使用最新表结构存储,修改则保存新记录并标记老记录删除等。

显著优势与应用前景


通过这种创新的 DDL 事务执行方法,有效解决了传统方法中执行效率低、额外消耗磁盘空间和阻塞 DML 事务的问题。它避免了创建临时表和大量数据拷贝,减少了磁盘空间占用和磁盘 IO,提高了数据库的存储和运行效率。同时,在 DDL 事务执行过程中能正常响应 DML 事务,极大地提升了数据库的实用性和可用性。


对于数据库管理员和开发者来说,这种方法为他们提供了一种更高效、更灵活的数据库管理方式,能够更好地应对日益增长的数据处理需求。相信在未来的数据库应用中,这种创新方法将发挥重要作用,为数据库的稳定运行和高效发展提供有力支持。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论

张静懿
暂无图片
15天前
评论
暂无图片 0
感谢分享,学习啦。。。。。。。。。。。。
15天前
暂无图片 点赞
评论
luyingjun
暂无图片
18天前
评论
暂无图片 0
GoldenDB革新数据库 DDL 事务执行,提升效率与性能
18天前
暂无图片 点赞
评论
筱悦星辰
暂无图片
19天前
评论
暂无图片 0
一个好的目标,不在于它是否足够宏大,而在于它是否能让你迈出第一步。
19天前
暂无图片 点赞
评论
淡定
暂无图片
27天前
评论
暂无图片 0
提升事务执行效率,提升数据库产品性能
27天前
暂无图片 点赞
评论
淡定
暂无图片
27天前
评论
暂无图片 0
好好学习,天天向上,哈哈哈
27天前
暂无图片 点赞
评论
咚咚
暂无图片
27天前
评论
暂无图片 0
GoldenDB革新数据库 DDL 事务执行,提升效率与性能
27天前
暂无图片 点赞
评论
查看更多 >