暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

openGauss训练营学习心得—个人随笔和笔记

原创 yaoshen 2022-05-15
308

一、个人随笔:

       中美科技战、本土企业被制裁、自主可控的要求,种种背景下,国产产品和技术雨后春笋般发布,国产数据库产品当中,openGauss、OB、PingCAP、KINGBASE、GBASE、TDSQL、Polar、DM、GoldenDB、翰高、星环、热璞等等,数不胜数,庆幸国产力量的不断发展壮大,也在思考在学习路上到底该跟着哪一派的路子走,往小了说是为了强大自身能力,往大了说是为了国产自主的发展,增添一分力所能及的力量。曾经的想法是,基于占据半壁江山以上市场的成功产品如O记,深入学习技能,获取高级认证,习得一定的拳脚功夫,同时考取国考高级工程师,增强内功,掌握万变不离其宗的能力。在此基础上,根据市场情况、企业营收和能力等等,选择自己心仪的学习对象,借着这次实惠慢慢的openGuass训练营,准备迈入国产数据库学习门槛。

       围绕着冯诺伊曼计算机系统结构,任何并发共享式系统,离不开CPU、内存、磁盘的利用和性能问题的解决,要让CPU合理充分的忙碌,而不不必要的忙碌浪费,要充分利用内存的速度,避免磁盘IO的过多,拖累性能,又要避免内存的抖动、内存池分区的不合理导致热点以及管理开销的额外消耗过大如页表等等。

       和其他关系数据库管理系统一样,openGauss也具备成熟的关系数据管理能力。openGauss是华为技术有限公司的云数据库GaussDB的内核开源版,是对开源数据库PostgreSQL的深度二次开发,做了大量的优化,生态和使用方面,也更接近Oracle。产品有很多特色,如行列混存的更灵活的性能场景的适配,GIN等专有搜索场景的索引技术;系统层面,合理的数据、解析、日志等内存池管理和分配,可靠的后台进程如数据写盘、日志写盘、增量检查点、归档进程、主备关系监控、日志传送等,更丰富的日志同步和日志写策略,让HA稳定而兼顾高效和可靠。架构也覆盖小中大规模数据的使用场景,支持集中式和分布式部署,配合多副本机制和AZ容灾,保证了扩展能力的同时也尽最大能力保护数据的完整性和服务的可用性。而对比商用产品最大的一点优势就是开源和社区支持,可以为个人的技术底层的钻研之路保驾护航,只要自己有毅力肯投入。

 

二、随堂笔记:

产品优势:代码基于宽松开源协议,深度二次开发,自主可控,适配国产芯片和操作系统,对于自主可控有足够的支撑力度。

定位:高性能、高可用、高安全、高智能、全开放

架构:




查询过程:


 

架构微观:存储引擎


 

几个优化:

1、 NUMA优化之线程绑核,每个核心的线程负载合理,线程工作高效互不干扰。

2、 串行日志加锁优化后,并行细粒度加锁,增大并行吞吐能力。

3、 CLOG缓冲池合理分区,避免缓冲池快的访问热点。

4、 事务号宽度提升为64位,避免频繁冻结回收。

5、 客户端连接池和服务端线程池配合控制合理业务量,服务资源可复用,消除不必要开销

6、 全量检查点基础上增加增量检查点,降低IO开销以及避免异常情况时过多的事务/数据恢复工作量。

 

OLTAP兼顾交易和分析两大场景:


 

行列混合引擎,更灵活根据性能特点通过映射技术选择合适的数据结构及其操作。

 

简单成熟的HA结构:合理的日志发送和落盘策略,兼顾可靠和性能;PAXOS选主可靠性高避免脑裂。



WDR报告:更合理的性能分类:系统级(OS、实例、事件、功能..)、对象级(表、索引、锁..)、应用级(事务..)。

 

性能优化角度:



「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论