暂无图片
暂无图片
3
暂无图片
暂无图片
暂无图片

openGauss 6.0.0 LTS引领新纪元,DataPod与DataKit双剑合璧共筑数据管理新高地

原创 手机用户9168 2024-11-13
147

2023年,openGauss发布5.0.0和5.1.0版本,实现 DataPod、DataKit 两大架构创新,分层解耦、资源池化,持续引领数据库技术发展方向。DataPod资源池化架构推出后,就深入金融关键业务应用场景,得到了金融行业客户的支持和赞誉,并作为技术创新项目获此殊荣,标志着openGauss DataPod资源池化架构在在金融场景的具体实践获得业界认可。

随着openGauss 6.0.0 LTS 版本正式发布,DataPod资源池化架构再度优化,DataKit数据全生命周期管理工具能力显著增强!

DataPod

DataPod资源池化架构持续创新,其核心在于通过先进的技术和灵活的架构设计,实现数据库性能、可靠性和扩展性的全面提升。以下是对这一架构创新的详细分析:

  1. 按需回放支持DDL执行:
    DataPod架构在failover场景下,新主节点的redo阶段支持DDL(数据定义语言)操作,包括常见的SCHEMA、TABLE、INDEX、VIEW、PROCEDURE等操作的创建、删除和修改。
    这一创新确保了在故障切换时,数据库能够继续执行关键的DDL操作,保持业务的连续性和数据的完整性。
-- 创建新的Schema CREATE SCHEMA new_schema; -- 在新的Schema中创建一个表 CREATE TABLE new_schema.new_table ( id SERIAL PRIMARY KEY, name VARCHAR(50), created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); -- 为表添加索引 CREATE INDEX idx_name ON new_schema.new_table (name); -- 创建一个视图 CREATE VIEW new_schema.new_view AS SELECT id, name FROM new_schema.new_table; -- 创建一个存储过程 CREATE PROCEDURE new_schema.get_user_info(IN user_id INT) LANGUAGE plpgsql AS $$ BEGIN PERFORM * FROM users WHERE id = user_id; END; $$; -- ALTER DATABASE操作(例如设置默认事务隔离级别) ALTER DATABASE current_database SET default_transaction_isolation 'read committed'; -- 修改现有表结构 ALTER TABLE new_schema.new_table ADD COLUMN description TEXT; -- 删除索引 DROP INDEX IF EXISTS idx_name ON new_schema.new_table; -- 删除视图 DROP VIEW IF EXISTS new_schema.new_view; -- 删除存储过程 DROP PROCEDURE IF EXISTS new_schema.get_user_info; -- 删除表 DROP TABLE IF EXISTS new_schema.new_table; -- 删除Schema DROP SCHEMA IF EXISTS new_schema;
  1. 常见DDL操作支持:
    DataPod架构支持多种常见的DDL操作,如表的创建、删除、修改,索引的创建、删除,视图的创建、删除,以及存储过程的创建、删除和修改等。
    这些操作的全面支持,使得数据库管理员能够在不中断业务的情况下,灵活地管理和维护数据库结构。
  2. 离线对资源池化备机进行扩缩容:
    通过gs_expansion、gs_dropnode工具,DataPod架构支持对资源池化集群进行动态的备机扩缩容操作。
    这意味着企业可以根据业务需求的变化,灵活地调整数据库的资源规模,既保证了资源的高效利用,又降低了运营成本。
  3. 对接分布式存储:
    DataPod架构支持将计算卸载到存储设备进行,从而消减存储层和计算层的网络IO流量,充分利用存储层的CPU资源。
    这种对接方式不仅提升了数据库的性能,还降低了系统的复杂度和运维难度。
  4. 写操作透明转发:
    应用可以从任何一个节点接入数据库,内核会将写操作透明转发到读写节点,本地只执行读操作,并保持事务一致性。
    这一功能简化了应用接入数据库的过程,同时增强了系统的扩展性。
  5. 支持SPQ多机并行查询框架:
    基于资源池化架构所有节点共享集群内的资源,DataPod架构支持生成多机执行计划,并将计划分发到各节点执行,查询节点可汇聚各节点数据实现所有节点并行查询。
    这种并行查询框架充分发挥了资源池化的OLAP能力,使数据库在处理大规模数据分析时更加高效。
  6. 容灾能力增强:
    DataPod架构提供了XLog按需回放,支持RPO=0的典型业务负载下RTO<10s;同时,通过实时解析XLog构建页面多版本恢复链,主机故障时快速对外提供服务。
    这些容灾措施确保了在发生故障时,数据库能够迅速恢复并提供稳定的服务。

综上所述,DataPod资源池化架构持续创新,通过引入多项先进技术和灵活的架构设计,实现了数据库性能、可靠性和扩展性的全面提升。这些创新不仅满足了金融行业等关键领域对高性能、高可靠性数据库的需求,还为企业提供了更加灵活、高效的数据库解决方案,助力企业在数字化转型中取得更大的成功。

DataKit

DataKit数据全生命周期管理工具能力的增强,对openGauss数据库带来了显著的影响和优势。以下是对这些影响和优势的详细分析:

  1. 提升数据迁移能力:DataKit增强了从MySQL源库、文件、业务进程中解析和采集SQL的能力,并输出兼容性报告,这有助于快速定位业务不兼容点,提高迁移效率。同时,新增的前置检测机制确保了数据迁移前的准备工作充分,降低了迁移风险。
  2. 优化对象管理功能:支持查看和修改用户/角色,以及对触发器、外部表、定时任务的操作,这些功能的增强使得数据库对象的管理更加便捷和高效。
  3. 强化智能运维能力:通过实例监控插件和智能诊断插件,DataKit能够实时监控数据库状态,进行不优SQL、等待事件、锁等异常诊断,发现系统潜在风险。此外,告警中心为各功能插件提供统一的告警通知能力,进一步提升了运维效率。
  4. 提升安装部署易用性:优化了实例监控代理/服务端安装、日志检索代理/服务端安装等流程,支持资源池化双集群部署,简化了安装部署过程,提高了用户体验。
  5. 增强生态兼容性:DataKit在MySQL兼容性方面进行了显著增强,包括完善系统函数、关键字、自定义变量、别名、JDBC等驱动数据,以及实现对MySQL协议的兼容,这有助于降低用户从MySQL迁移到openGauss的门槛。
  6. 创新资源池化架构:DataPod三层资源池化技术架构持续创新,通过备机可见性判断逻辑优化、主机推进oldestxmin逻辑优化等功能,提升了数据库性能。

综上所述,DataKit数据全生命周期管理工具能力的增强,不仅提升了openGauss在数据迁移、对象管理、智能运维等方面的竞争力,还通过创新资源池化架构、提升数据存储性能以及支持向量数据库插件等方式,进一步增强了其在数据库领域的整体竞争力。

最后修改时间:2024-11-14 09:59:14
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论