传统的指标采集方法通常使用如top、free等一些命令行工具等来获取系统的性能数据,然而这种方法存在如下缺点。首先,这些命令行工具输出的数据格式通常是文本形式,需要进行解析处理才能得到有用的信息;其次,由于这些工具是外部进程,性能开销较大,所以采集数据的频率会受到限制,无法实时获取数据,而这些都增加了开发者的工作量。由此看来,采用现代化的语言来实现指标采集具有更高的效率和可靠性。
众所周知,Java作为一个广泛应用的开发语言也被用于采集系统性能数据,然而Java程序对环境有依赖,需要安装和配置JDK环境,所以增加了部署的复杂性;除此之外,Java项目通常比较庞大且依赖较多,由此导致的结果是占用了较多的项目资源和存储空间;另外,由于Java项目的性能开销较大,对主机的负担也较重,可能会影响AntDB数据库的稳定性和性能。
相比之下,使用Go语言实现的AntDB数据采集具有以下更为突出的优势。首先,Go程序不需要额外的依赖和环境配置,可以直接编译为二进制文件,简化了部署的复杂性;其次,Go语言的项目通常比较小巧,静态链接可以减少对外部库的依赖,从而减少了项目的资源占用和存储空间需求;最后,Go语言运行时开销较低,性能较高,对主机的负担较小,不会明显影响AntDB数据库的稳定性和性能。
综上所述,通过使用Go语言实现的AntDB数据采集,既满足了性能需求,又减少了对系统资源的消耗,可以提供高效、轻量级和可靠的解决方案。
1部署方式
部署Agent方式如图所示,每个集群针对每台主机都会部署一个独属于自己的Agent采集程序。
图1:Agent部署方式
(1)由于Go语言的特性,编译器将所有依赖的库和运行时的组件静态链接到可执行文件中,这意味着在不同的操作系统上运行Go程序时不需要安装额外的运行时环境,也不再依赖于JVM,从而减少了额外的资源消耗。
(2)基于项目结构的优化,Go项目打包的可执行文件占用的存储空间更少,进一步减少了资源消耗。
Go项目的磁盘占用如图所示:
图2:Go项目磁盘占用
Java项目的磁盘占用如图所示:
图3:Java项目磁盘占用
2 性能开销
传统的指标采集方法是使用一些如top、free等命令行工具来获取系统的性能数据,此种方式为外部程序,需要主机安装对应命令执行程序,并且主机响应较慢。而Go语言直接使用内置库获取数据,再与系统进行硬件交互,极大的提升了响应速度。
以下为获取内存的总内存、已用内存、空闲内存、内存利用率指标的两种方式以及花费的总时间:其中使用命令行进行指标数据采集花费时间为28毫秒,而使用Go语言内存库采集花费时间为363微秒,两者的时间花费差距相差77倍。
图4:Go语言内置库实现
图5:命令行方式采集
图6:性能开销比较
3 实现细节
3.1 内置库实现
内置库包含的指标中,直接通过系统方法调用获取数据进行存储即可,此处以CPU核数、使用率、空闲率举例。
图7:内置库实现采集
3.2 内置库无法直接获取的指标
针对某些无法直接通过三方库获取的指标数据,需要内部采用高效率的方式去实现。例如,若要获取CPU_LOAD指标,则为代码实现读取文件 /proc/loadavg ,并转为64位float获取。
图8:特定值具体实现
3.3 速率指标
某些速率指标采用命令行方式获取,且在命令行内部完成速率计算。例如磁盘读写速率、网卡上传、下载速率等,这些都由iostat、sar等命令完成,随后直接使用即可。
此处以磁盘读写速率为例,在iostat -xd 命令中,第六、七、十一、十二列分别记录了磁盘读速率、写速率、读延迟、写延迟的信息,所以无需二次计算获取。
图9:速率值命令实现
4 结论
综上所述,将AntDB数据采集项目从Java改写为Go带来了减少额外的资源消耗、提高响应速度、降低存储空间占用等优势。通过合理利用Go语言的特性和内置库,可以实现更高效、更灵活的数据采集,也可以为系统监控和分析提供更可靠和准确的指标数据,而这将对提升系统性能、优化资源利用和预测未来需求等方面产生积极的影响。
关于亚信安慧AntDB数据库
AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔电信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。