近日,电信运营商首个基于ARM国产服务器与X86异构混搭集群的大数据平台,成功上线,采用了东方国信CirroData数据库跨CPU融合计算技术。这是电信运营商和东方国信在国产化上的又一次重要工程实践,更是基于国产分布式数据库,首次实现了跨CPU融合计算的创新性案例,为通信行业信息技术自主创新起到了示范性的作用。
一、项目背景:
电信运营商在长期的业务运营中积累了大量的业务数据资产,大数据平台是发挥这些业务数据资产价值的关键支撑。在大数据平台的传统架构中,CPU、操作系统、数据库等软、硬件长期依赖进口产品,存在着巨大的安全隐患,为预防“卡脖子”等问题发生,做到“关后门、堵漏洞、防断供”,通信行业一直存在着向国产化平台迁移的迫切需求。
在这方面,某省电信运营商一直走在信息技术自主创新的前列,为满足全省的大数据存储和大数据使用需求,提出了在有效利用企业原有资产的前提下,向国产化系统稳步迈进的建设方案,即:构建一个新的“国产化大数据共享服务平台”,实现数据统一汇聚,统一存储,集中计算,集中管控,统一共享,作为全网公共资源和基础能力提供大数据服务。
二、方案架构:
本次成功上线的某省电信运营商大数据平台,将原有大数据平台的102台X86服务器集群,迁移至115台ARM国产服务器和38台X86服务器的异构混搭集群,其平台核心数据支撑架构采用东方国信CirroData分布式数据库,大数据生态组件采用Flink和Kafka等,其中CirroData分布式数据库支撑了平台95%的计算和存储能力,是平台的关键核心组件。
某省电信运营商大数据平台架构图如下:
图1: 某省电信运营商大数据平台国产化异构混搭架构
本次大数据平台采用了创新的异构混搭架构,这种架构既有效利用了原有X86资源,又通过采用国产化ARM服务器和国产化CirroData分布式数据库,增强了大数据平台自主可控能力,也降低了平台的整体系统性风险。本平台针对异构混搭架构中的资源合理调配这个关键技术难点,利用CirroData的分布式对等模型架构,通过采用CirroData的负载均衡技术、资源队列技术、计算分组技术、弹性计算技术等,避免了分布式集群可能出现的“木桶效应”,使得在同一集群内,ARM国产服务器和X86服务器的处理能力都得到了高效的使用和充分的发挥。
三、项目效果和意义:
某省电信运营商通过本次新构建的大数据平台,高效地实现了“数据使用方便、数据管控清晰、数据运营精准”战略目标。目前,该大数据平台已经在ARM国产服务器和X86服务器的异构混搭集群上平稳运行,并投入生产使用。其中,平台迁移工作已经全面完成,平台已服务于9个第三方厂商,当期开通租户数量近10个。未来,随着平台数据量、用户数、服务种类的增长,可利用CirroData分布式数据库的水平线性扩展技术、数据联邦技术、MDC跨域计算技术,实现平台的平滑扩容升级。
在本次大数据平台的架构设计中,创新性地利用CirroData分布式数据库的跨CPU融合计算技术,既实现了平台的国产化目标,又合理利用了企业原有的计算资源,同时又提升了平台的整体抗风险能力,为国产化信息系统建设探索出了一种新思路和新模式,具有极为重要的参考和示范价值。
相关链接:关于“大数据共享平台”的具体情况可以参考《将多个系统整合成一个“大数据共享服务平台”:CirroData助力某省电信运营商整合数据系统》一文。
https://mp.weixin.qq.com/s/reML9xQq96yMt2cQTEu6AA
CirroData是北京东方国信科技股份有限公司自主研发的一款面向海量数据分析型应用领域的分布式云化数据库。采用了先进的计算和存储分离的技术架构,融合了分布式存储和MPP并行计算的各自优势,不但可以轻松实现云平台上的伸缩扩展能力,而且可以提供随需部署的能力,是新一代云数据仓库的典型代表。
CirroData能满足PB级海量数据的存储和分析,这些数据可以分布在数百台通用服务器上,能够被数千并发用户高速访问,可以满足数据密集型行业日益增大的海量数据存储、高性能加工,在线分析、即席查询和高并发访问的需求。