2023年,openGauss发布5.0.0和5.1.0版本,实现 DataPod、DataKit 两大架构创新,分层解耦、资源池化,持续引领数据库技术发展方向。DataPod资源池化架构推出后,就深入金融关键业务应用场景,得到了金融行业客户的支持和赞誉,并作为技术创新项目获此殊荣,标志着openGauss DataPod资源池化架构在在金融场景的具体实践获得业界认可。
随着openGauss 6.0.0 LTS 版本正式发布,DataPod资源池化架构再度优化,DataKit数据全生命周期管理工具能力显著增强!
DataPod
DataPod资源池化架构持续创新,其核心在于通过先进的技术和灵活的架构设计,实现数据库性能、可靠性和扩展性的全面提升。以下是对这一架构创新的详细分析:
- 按需回放支持DDL执行:
DataPod架构在failover场景下,新主节点的redo阶段支持DDL(数据定义语言)操作,包括常见的SCHEMA、TABLE、INDEX、VIEW、PROCEDURE等操作的创建、删除和修改。
这一创新确保了在故障切换时,数据库能够继续执行关键的DDL操作,保持业务的连续性和数据的完整性。
-- 创建新的Schema
CREATE SCHEMA new_schema;
-- 在新的Schema中创建一个表
CREATE TABLE new_schema.new_table (
id SERIAL PRIMARY KEY,
name VARCHAR(50),
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);
-- 为表添加索引
CREATE INDEX idx_name ON new_schema.new_table (name);
-- 创建一个视图
CREATE VIEW new_schema.new_view AS
SELECT id, name FROM new_schema.new_table;
-- 创建一个存储过程
CREATE PROCEDURE new_schema.get_user_info(IN user_id INT)
LANGUAGE plpgsql
AS $$
BEGIN
PERFORM * FROM users WHERE id = user_id;
END;
$$;
-- ALTER DATABASE操作(例如设置默认事务隔离级别)
ALTER DATABASE current_database SET default_transaction_isolation 'read committed';
-- 修改现有表结构
ALTER TABLE new_schema.new_table
ADD COLUMN description TEXT;
-- 删除索引
DROP INDEX IF EXISTS idx_name ON new_schema.new_table;
-- 删除视图
DROP VIEW IF EXISTS new_schema.new_view;
-- 删除存储过程
DROP PROCEDURE IF EXISTS new_schema.get_user_info;
-- 删除表
DROP TABLE IF EXISTS new_schema.new_table;
-- 删除Schema
DROP SCHEMA IF EXISTS new_schema;
- 常见DDL操作支持:
DataPod架构支持多种常见的DDL操作,如表的创建、删除、修改,索引的创建、删除,视图的创建、删除,以及存储过程的创建、删除和修改等。
这些操作的全面支持,使得数据库管理员能够在不中断业务的情况下,灵活地管理和维护数据库结构。 - 离线对资源池化备机进行扩缩容:
通过gs_expansion、gs_dropnode工具,DataPod架构支持对资源池化集群进行动态的备机扩缩容操作。
这意味着企业可以根据业务需求的变化,灵活地调整数据库的资源规模,既保证了资源的高效利用,又降低了运营成本。 - 对接分布式存储:
DataPod架构支持将计算卸载到存储设备进行,从而消减存储层和计算层的网络IO流量,充分利用存储层的CPU资源。
这种对接方式不仅提升了数据库的性能,还降低了系统的复杂度和运维难度。 - 写操作透明转发:
应用可以从任何一个节点接入数据库,内核会将写操作透明转发到读写节点,本地只执行读操作,并保持事务一致性。
这一功能简化了应用接入数据库的过程,同时增强了系统的扩展性。 - 支持SPQ多机并行查询框架:
基于资源池化架构所有节点共享集群内的资源,DataPod架构支持生成多机执行计划,并将计划分发到各节点执行,查询节点可汇聚各节点数据实现所有节点并行查询。
这种并行查询框架充分发挥了资源池化的OLAP能力,使数据库在处理大规模数据分析时更加高效。 - 容灾能力增强:
DataPod架构提供了XLog按需回放,支持RPO=0的典型业务负载下RTO<10s;同时,通过实时解析XLog构建页面多版本恢复链,主机故障时快速对外提供服务。
这些容灾措施确保了在发生故障时,数据库能够迅速恢复并提供稳定的服务。
综上所述,DataPod资源池化架构持续创新,通过引入多项先进技术和灵活的架构设计,实现了数据库性能、可靠性和扩展性的全面提升。这些创新不仅满足了金融行业等关键领域对高性能、高可靠性数据库的需求,还为企业提供了更加灵活、高效的数据库解决方案,助力企业在数字化转型中取得更大的成功。
DataKit
DataKit数据全生命周期管理工具能力的增强,对openGauss数据库带来了显著的影响和优势。以下是对这些影响和优势的详细分析:
- 提升数据迁移能力:DataKit增强了从MySQL源库、文件、业务进程中解析和采集SQL的能力,并输出兼容性报告,这有助于快速定位业务不兼容点,提高迁移效率。同时,新增的前置检测机制确保了数据迁移前的准备工作充分,降低了迁移风险。
- 优化对象管理功能:支持查看和修改用户/角色,以及对触发器、外部表、定时任务的操作,这些功能的增强使得数据库对象的管理更加便捷和高效。
- 强化智能运维能力:通过实例监控插件和智能诊断插件,DataKit能够实时监控数据库状态,进行不优SQL、等待事件、锁等异常诊断,发现系统潜在风险。此外,告警中心为各功能插件提供统一的告警通知能力,进一步提升了运维效率。
- 提升安装部署易用性:优化了实例监控代理/服务端安装、日志检索代理/服务端安装等流程,支持资源池化双集群部署,简化了安装部署过程,提高了用户体验。
- 增强生态兼容性:DataKit在MySQL兼容性方面进行了显著增强,包括完善系统函数、关键字、自定义变量、别名、JDBC等驱动数据,以及实现对MySQL协议的兼容,这有助于降低用户从MySQL迁移到openGauss的门槛。
- 创新资源池化架构:DataPod三层资源池化技术架构持续创新,通过备机可见性判断逻辑优化、主机推进oldestxmin逻辑优化等功能,提升了数据库性能。
综上所述,DataKit数据全生命周期管理工具能力的增强,不仅提升了openGauss在数据迁移、对象管理、智能运维等方面的竞争力,还通过创新资源池化架构、提升数据存储性能以及支持向量数据库插件等方式,进一步增强了其在数据库领域的整体竞争力。
最后修改时间:2024-11-14 09:59:14
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。