暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

openGemini 落地天津江天数据:高效、稳定、安心

openGemini 2024-10-21
114

作者:齐小强

江天数据科技有限公司的云哨是一款集DCIM(全称为Data Center Infrastructure Management,即数据中心基础设施管理)、DCOM(全称为Data Center Operations and Management数据中心运维管理)、能源管理、数字孪生于一体,赋能运维团队实现对数据中心的高效运营,实现运维全流程管理机制的落地,助力数据中心运营更加安全、可靠、智能的软件产品。目前,随着监控数据量的增加,我们已经在一些项目中采用了openGemini来替代InfluxDB以及GitHub上开源的InfluxDB-Cluster(https://github.com/chengshiwen/influxdb-cluster,感谢作者无私付出,曾经也帮助我们项目解决了很多问题),用于存储时序数据,积累经验后将在公司全面推广使用。openGemini运行稳定且高效,资源占用较低,为表达对社区的感谢和支持,我们将使用的经验分享出来,供其他读者参考,希望对大家有所帮助。

业务痛点:InfluxDB内存占用高、易崩溃、重启耗时长

云哨是我司主打的监控运维运营一体化智能解决方案,它采集数据中心内的电源、蓄电池组、UPS、发电机、空调以及温湿度、烟雾、漏水、门禁等智能、非智能设备的实时数据,因此会产生大量的时序性数据。在过去的项目中,云哨使用的是InfluxDB以及GitHub中开源的InfluxDB-Cluster来进行时序性存储。InfluxDB只有单节点的是开源的,所以在集群场景中主要使用InfluxDB-Cluster进行数据存储和查询,但是在使用过程中,InfluxDB-Cluster存在内存占用过高的问题,并且内存长时间占用无法释放,导致服务崩溃重启,重启时加载索引数据又会消耗很长的时间,平均一个节点重启耗时在30分钟左右,严重影响使用,所以选择其他更优的时序性数据库迫在眉睫。

为什么选择openGemini:性能、兼容性与成本效益的综合考量

我们经过一段时间对其他时序性数据库的对比分析,最终选择了openGemini,有如下几个原因:

一、兼容InfluxDB,业务改造成本低

openGemini兼容了influxdb的sdk,可以实现服务无缝迁移,无需进行任何代码调整,云哨基于influxdb的sdk做了很多扩展开发,可以兼容极大的降低了数据库迁移的软件开发成本。

二、License对商业友好

openGemini基于Apache 2.0许可证开源,是国内少数几个在时序数据库领域既开源又提供友好许可协议的软件之一。

三、openGemini性能优越,资源占用低、能省近一半的硬件成本

我们对openGemini进行了性能测试,因为我们开始测试时,openGemini还没有多副本,为了公平,我们搭建了InfluxDB-Cluster集群,并且没有开启多副本,我们分别使用了5台内存128G的服务器搭建了5个节点组成了集群,在大数据量存储、查询的情况下,InfluxDB-Cluster平均每个节点消耗内存在80GB左右,当查询较多时,内存会上涨到100多个GB,甚至会程序重启。而同样的场景下,openGemini节点的每台机器内存消耗仅在20GB左右,查询较多时,内存也只有少量的增长。后来我们又尝试将openGemini调整为3个节点的集群,令我们下定决心用openGemini的是,3个节点的集群同样能够胜任工作,并且每个节点的内存消耗也仅在30G左右。这意味着,我们切换到openGemini之后,将能够省下近一半的硬件成本。

业务效果:高效、安心、稳定运行


在我们的技术架构中,数据被采集服务上报后,通过RocketMQ进行分发,数据存储服务充当中间件将消息快速写入openGemini,计算集群的任务是从openGemini快速查询各种能效数据进行不同精度的指标计算。

目前openGemini已在我们一个大型项目中已经稳定运行了4个多月,内存占用十分稳定,数据查询速度也很快,可以结合Grafana实现各类分析图表,并且我们的程序也可以安心的从openGemini查询、汇总各种数据用于进一步的能效分析等。

未来计划和期望

在我们的使用经验中,我们发现openGemini在处理大量数据存储和查询时表现出了资源占用低的优势,运行稳定性也非常高,同时在内存管理和数据压缩方面也做得相当出色。最新版本中引入的多副本功能,使得openGemini已经满足其他一些关键项目对数据可靠性的要求。我们期望openGemini在维持其高效和稳定性的同时,未来能够在降低成本方面实现更大的突破。我们也将积极会在社区贡献和反馈,希望社区发展越来越好。

企业简介

天津江天数据科技有限公司(简称“江天数据”)是专业、绿色、智能的第三方数据中心运营商。公司致力于以领先技术和理念,服务社会数字化建设,做数字经济基石;服务范围涵盖数据中心托管、网络及增值服务、云计算综合解决方案及数据中心数字化转型解决方案。

江天数据在天津市北辰区拥有一座占地260亩的巨型数据中心产业园 ——“环京大数据产业天津基地”。基地规划分期建设8栋绿色节能的巨型数据中心,可部署多达4万台6KW机柜,是京津冀地区规模巨大、电力容量充沛、设计理念先进、实现智能化运营与管理的高可靠性绿色数据中心园区。


openGemini 官网:http://www.openGemini.org

Star for me😊:https://github.com/openGemini

openGemini 公众号:


欢迎关注~ 诚邀你加入 openGemini 社区,共建、共治、共享未来!

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论