暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

山西新网科技:基于openGemini构建的大宗物流系统效率更高

openGemini 2024-11-29
59

山西新网科技有限公司成立于 2003 年,是一家专注于物流科技领域的创新型企业,提供智能化物流管理解决方案。从物流成本控制系统到无人值守系统,公司通过技术创新不断推动行业发展,覆盖企业物流的全流程,形成了一体化物流生态链,业务覆盖华北、西北、西南等广大地区,实现了物流一体化系统的规模销售,为百万司机用户和数万家企业用户提供稳定、高效的服务。


目前,新网科技在物流数据处理领域处于行业领先地位,依托openGemini 高效管理大规模物流相关数据,优化了资源配置和决策效率。未来,公司将继续专注物流智能化建设,推动企业数字智能化转型。

选型背景及过程

在当今数字化时代,企业业务不断拓展,位置数据呈爆发式增长。传统关系型数据库在处理海量位置数据时,暴露出诸多劣势,严重阻碍了业务的快速推进。基于对实际业务的深入剖析,我们意识到需要一款专门针对时间序列数据的数据库,来满足高效存储与快速查询的需求。


最初,我们将目光投向了开源时序数据库。在小批量数据插入测试阶段,某国产开源时序数据库表现还算良好。但随着数据量的增加,其性能瓶颈迅速凸显,尤其在高并发写入场景下,延迟飙升,影响数据处理效率。同时,若升级到企业版以满足需求,其成本远超预期,甚至超过项目利润,最终只能放弃。


随后,我们尝试了当时广泛使用的 InfluxDB。在单机环境中,InfluxDB 在数据处理和存储方面的表现极为优异,完全符合我们对性能的预期。然而,面对大规模分布式部署时,InfluxDB 的局限性显现,无法完全满足企业业务的拓展需求。


经过多次尝试和评估,我们最终选择了 openGemini。它在低成本、高性能和分布式处理能力方面表现优异,不仅满足了业务需求,还能高效完成位置数据的存储和查询,为后续业务开展提供了坚实支撑。

技术架构

 

在我们的技术架构中,openGemini存储所有设备位置信息,并为异常事件检测、车辆位置、司机位置等提供历史和实时数据的多维分析能力。


在数据接入方面,我们选择 Apache Pulsar消息队列(支持容器化部署和云上多租)汇聚所有设备位置信息,并由平台业务计算模块实时消费并解析GPS 轨迹,将位置信息写入 openGemini。

经验分享

在使用 openGemini 的过程中,我们深刻体会到数据建模设计对性能的决定性影响,尤其是合理划分 MeasurementTAG 的重要性:


  • 高维字段的选择:若将高频变化字段设置为 TAG,会显著拖慢查询速度。

  • 序列设计:过多序列可能导致存储开销增加和查询性能下降。


我们建议:

  1. 规划合适的保留策略:对历史数据制定精细化的清理和压缩规则。

  2. 精简 TAG 和字段:避免字段冗余,聚焦业务关键指标。对于列较多的情况,避免SELECT *的查询,最好需要哪些列查询哪些列。

  3. 分片策略:结合时间和设备 ID,实现均匀分布以优化查询性能

使用openGemini 之后的效果

查询性能:通过合理的数据建模和索引优化,复杂查询响应时间从分钟级缩短到秒级。例如,位置数据范围查询可在 3 秒内完成,极大提升了业务响应速度。

存储性能:openGemini 高效存储引擎支持高并发写入,大幅提升写入速度,保证数据实时性。

业务支撑:优化了物流调度与资源分配,提供更及时、准确的业务决策支持。

资源消耗:openGemini具有很低的计算资源消耗。实测按6000车点位/s写入,两台2vcpu*2GB规格节点,CPU占用2.8core,内存1.76GB。

 

给社区的建议

尽管 openGemini 已很好地满足我们当前的业务需求,但仍有一些功能可以进一步优化:

  1. 查询语言增强:对复杂数据分析和计算函数的支持有待完善。

  2. 集群管理工具:希望提供更直观的可视化监控和管理功能。

  3. 智能压缩算法:针对低频访问的冷数据,期望能进一步优化存储效率。


我们期待 openGemini 在未来能持续迭代优化,支持更多复杂业务场景,如实时数据预测和动态调度。


END

作者 | 李建珍

排版 | openGemini


欢迎访问WELCOME TO VISIT

openGemini官网
https://www.openGemini.org


Star for me 🌟

https://github.com/openGemini

更多精彩内容,可以关注openGemini微信公众号查看,还有交流群等你加入哦~

文章转载自openGemini,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论