openGemini + EMQ X + Grafana构建物联网数据可视化平台.docx
免费下载
openGemini + EMQ X + Grafana
构建物联网数据可视化平
台
物联网设备通常按照一定采样周期进行数据上报，不同设备采集的数据也不相同，数据采
集的维度、频率、以及设备数量都比较多。比如智能电网，由智能变电站、线路传输、智
能交互终端、智能电表、智能中央系统等部分组成，每个部分都有大量设备，集成了大量
的传感器，随着中国智能电网建设的不断完善，其测点的规模达到千万级以上，并且不同
测点将以毫秒级、秒级等不同频率产生数据。
物联网数据具有明显的时序特性，需要进行时序存储，使用时序数据库是比较好的选择。
除此之外，物联网数据采集涉及大量的设备接入、海量的时序数据库传输，对消息服务器
的接入吞吐量、后端时序数据库的写入和存储空间消耗有很大压力。
数据入库后，需要同时提供给不同业务使用，如数据可视化、
AI
智能分析、数字孪生、应
用接口调用等，对后端时序数据库查询的并发量和吞吐量要求也有很大挑战。
EMQ X
消息中间件和
openGemini
一站式存储分析平台的组合技术栈完全能够胜任场景
中的设备接入、数据存储和分析。而且从长远来看，这套技术组合依然能满足业务增长预
期所带来的接入设备数量和查询并发量增加的需求。
本文以物联网常见的数据可视化场景为例，介绍
EMQ X + openGemini + Grafana
构
建物联网数据可视化平台，实现数据的实时监控、指标统计等业务需求，充分发挥数据的
价值。
方案介绍
方案整体架构如下图所示：
EMQ X
介绍
EMQ X (https://www.emqx.io/cn/)
是基于高并发的
Erlang/OTP
语言平台开发，支持
百万级连接和分布式集群架构，发布订阅模式的开源
MQTT
消息中间件。
EMQ X
内置了
大量开箱即用的功能，目前仅企业版支持通过数据桥接的方式连接不同版本的
In$uxDB
OSS,
由于
openGemini
兼容
InuxDB v1
，因此 这 种 数据桥接 的 方式同样 适 用
openGemini
。纯开源用户，可以使用
EMQ X
（开源版
) + Telegraf + openGemini
+ Grafana
的组合方式，
Telegraf
从
EMQ X
消费
MQTT
消息，转存到
openGemini
，
这里暂不做过多阐述。
openGemini
是什么
openGemini
是一款华为云开源的云原生分布式时序数据库，具备高性能、高扩展、高并
发等优势。主要面向物联网和运维监控场景，提供海量时序数据库处理和分析的开源解决
方案，
openGemini
支持单机和集群，部署形式多样，可边缘、可云、可物理机部署，支
持主流开发语言，二进制运行，无第三方组件依赖，包含
260+
项系统运行监控指标，可
实时洞察系统运行状态。
Grafana
介绍
Grafana
是一个跨平台、开源的度量分析和可视化工具，可以通过灵活的配置查询采集到
的数据并进行可视化展示。它可以快速灵活的创建客户端图表，官方库中具有丰富的仪表
盘 插 件 ， 比 如 热 图 、 折 线 图 、 图 表 等 多 种 展 示 方 式 。 支 持
openGemini
，
Graphite
，
In$uxDB
，
OpenTSDB
，
Prometheus
等数据源。可以创建
自定义告警规则并通知到其他消息处理服务或组件中。
业务场景
假设现有一批设备，每个设备有一个
Client ID
，所有设备均通过
MQTT
协议 往
MQTT
服务器 上相应的主题发送数据，主题的设计如下：
devices/{client_id}/messages
每个设备发送的数据格式为
JSON
，发送的通过该传感器采集的温度与湿度数据。
{
"temperature": 23,
"humidity" : 21
}
现在需要实时存储数据以便在后续任意时间查看，具体需求如下：
每个设备按照每
5
秒钟一次的频率进行数据上报，数据库需存储每条数据；
通过可视化系统查看 任意时间区间内 的温度
/
湿度平均值、最大值、最小值，与 所有
时间段内 温度
/
湿度的平均值。
当前列举场景的可视化平台最终的展示效果如下图。仪表盘右上角可以选择时间区间、自
动刷新时间，此时设备持续发送数据，仪表盘数据值会随之变化，实现了功能比较全面的
可视化效果。
of 8
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
文档被以下合辑收录
相关文档
评论