图文实录 | Klustron技术分享：MySQL 8.0的Instant DDL

点击上方蓝字关注我们

 

为促进团队内外的沟通联系，我们Klustron团队的bbs论坛开始上线，欢迎各位同学使用！（链接：https://forum.klustron.com/，或者点击文末“阅读原文”，即可跳转）

引言

MySQL 8.0的instant DDL特性是该版本的一个非常有特色的的功能，它通过只修改数据字典，大幅度优化了部分DDL的执行效率问题，实现了增减列等DDL的即时完成。本次分享将主要介绍instant DDL的原理及实现方法，以及Klustron后续在此基础上研发的新特性，期望能让大家在对于这一关键特性有认识的同时，也对Klustron有一个更为深入了解。

本文金句：MySQL 8.0的Instant DDL是该版本中非常重要的特性之一，它通过只更新的数据字典，实现了部分DDL的即时完成，大幅度提升了DDL的执行性能。

关键词：MySQL、Klustron、Instant DDL、DDL

01  

• 在MySQL 5.5之前只支持Copy方式的DDL操作，需要拷贝数据，而且不能并发写正在变更的表；
• MySQL 5.5开始支持Inplace方式的DDL操作，对于支持inplace的DDL操作，无需拷贝数据，直接在原有的表数据上面进行变更，但仍然不可并发写；
• MySQL 5.6开始支持Online DDL，实现大部分DDL操作时可并发读写，极大减少了DDL操作对于系统的整体影响；
• MySQL 8.0开始支持instant DDL，通过只修改数据字典而不修改数据的方式实现DDL操作的瞬时完成。

02  

• 大表的DDL执行过程太长，尤其是复制场景；
• 执行部分DDL需要成倍的磁盘空间；
• 部分DDL执行过程会消耗大量的IO，内存和CPU资源；
• 在复制场景下，DDL在从机执行需要长时间才能与主机同步；

• 只修改数据字典信息，不拷贝和修改任何历史数据；
• 通过增加和设置标识位来判断新旧格式的数据行；
• MySQL 8.0.29后通过设置数据行的版本号来判断数据行对应的结构。
• 只修改数据字典信息，不拷贝和修改任何历史数据；
• 通过增加和设置标识位来判断新旧格式的数据行；
• MySQL 8.0.29后通过设置数据行的版本号来判断数据行对应的结构。

• 通过设置info bits的位来标识是否有新的数据格式；
• 通过增加字段数量信息来保存当前数据行的字段数量信息；
• MySQL 8.0.29后通过设置数据行的版本号来判断数据行对应的结构。

• 插入：按照新的格式插入
• 查找：根据标识位判断是新或旧版本数据
• 更新：更新为新格式数据
• 删除：无变化

03  

• 计算层(Klustron-server)：多个PostgreSQL实例构成的计算节点负责接受验证应用软件端的连接请求，以及从已经建立的连接中接受SQL查询请求，执行请求，然后返回查询结果；
• 存储层(Klustron-storage): 三个或者更多个MySQL8.0实例构成的存储节点组成一个存储集群(storage shard，简称shard)，每个shard 存储着一部分用户表或者表分区；
• 元数据集群存储着Klustron 集群的元数据包括拓扑结构、节点连接信息、DDL日志，commit log，和其他集群管理日志等；
• cluster_mgr集群负责维护正确的集群和节点状态，实现集群管理、集群逻辑备份和恢复, 集群物理备份和恢复、水平弹性伸缩等功能。

1. 导出表全量数据：node_mgr 调用 mydumper 将源表数据 dump 出来并传输数据文件到计算节点所在服务器；
2. 加载表全量数据：node_mgr调用kunlun_loader工具把源表dump全量数据灌入目标表中；
3. binlog catch-up：node_mgr根据dump时各个shard上binlog起始位置记录调用binlog2sync工具，binlog2sync 工具从该位置点开始dump binlog事件；
4. rename源表和目标表：binlog2sync工具快速将剩余的binlog同步完，然后再将目标表rename成源表名，业务恢复正常使用。

• Online DDL的增强和优化（并行化实现性能优化等）
• Transactional DDL（实现DDL的事务性，而不仅仅是原子性）

• Instant DDL的增强与优化（实现更多DDL的Instant方式执行）

• DDL的并行化改造

04  

点击上方观看视频回放

欢迎大家下载和安装Klustron数据库集群，并免费使用（无需注册码）。

Klustron 完整软件包下载：

http://downloads.klustron.com/

如需购买请邮箱联系sales_vip@klustron.com，有相关问题欢迎添加下方小助手微信联系🌹

产品文档

Klustron 快速入门：

https://doc.klustron.com/zh/Klustron_Instruction_Manual.html

Klustron 快速体验指南：

https://doc.klustron.com/zh/Klustron_Quickly_Guide.html

Klustron 功能体验范例：

https://doc.klustron.com/zh/Klustron-function-experience-example.html

Klustron 产品使用和测评指南：

https://doc.klustron.com/zh/product-usage-and-evaluation-guidelines.html

 点击👆上方，关注获取源代码及技术信息~