暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

技术干货|一文详解优炫数据库MPP大规模并行处理技术

优炫软件 2022-09-08
1665

数据时代下,数据量呈爆炸式的增长,同时企业的经营决策下沉,更多的中、基层管理者通过大数据技术,参与到经营管理中来。特别是疫情背景下,分析型数据库在更多业务场景中实现了更广泛的应用

为了更好满足市场的分析需求,承载对大量结构化、半结构化、非结构化数据的存储与处理,以支持业务决策,优炫软件推出适用于PB级的大数据计算的数据库产品—优炫大规模并行处理MPP数据库。






优炫大规模并行处理UXMPP数据库



优炫大规模并行处理UXMPP是UXDB基于shared-nothing架构的横向扩展,UXMPP是以扩展形式在UXDB数据库中运行,采用“化整为零”原理,通过分片和复制将多个UXDB数据库逻辑上结合在一起,形成多机、多核并行的UXDB集群,可实现PB级大规模数据集的实时在线分析,并已经在金融、电信、政企等多个行业的分析型业务场景均有落地应用。






UXMPP架构特点


UXMPP采用分布式计算架构SN(shared noting)。多台数据库服务器(节点)形成一个集群,每个节点都是独立、自给的。在系统中不存在单点竞争、没有节点共享存储和磁盘。UXDB可以保存更多数据,比单台机器使用更多CPU,还可以添加更多节点来扩展数据库。


下图为一个典型分布式部署分布式表分发过程。







MPP应用场景


实时分析应用


UXMPP的高效并发处理,适用于各种实时分析应用,包括地理信息分析,行为分析,视频分析,网站分析其操作分析。


UXMPP不仅支持高速的批量数据加载(20w/s),还支持单条记录的实时增删改查。


查询数据时,CN对每一个涉及的分片开一个连接驱动所有相关worker同时工作。并且支持过滤,投影,聚合,join等常见算子的下推,尽可能减少CN的负载。所以,对于count(),sum()这类简单的聚合计算,在128分片时UXMPP可以轻松获得和UXDB单并发相比50倍以上的性能提升。


多租户应用


查询几乎总是使用一个租户ID作为过滤条件,例如许多SaaS应用,特别是B2B应用属于多租户应用,通过租户ID将数据分布在多个节点。



UXMPP在多租户应用中的优点:
1

与很多分布式数据库类似,UXMPP对分片表间join的支持存在一定的限制。而多租户场景下每个租户的数据按租户ID分片,业务的SQL也带租户ID。因此这些SQL都可以直接下推到特定的分片上,避免了跨库join和跨库事务。

2

通过有效利用亲和表性质。使用租户ID作为分片列,同一租户的所有数据存储在同一节点,UXMPP在执行查询时,将查询路由到单个worker,加快查询速度。






农商行引入UXDB MPP案例


某农商行采用UXDB MPP作为数据仓库的核心组件,完成存量数据的安全保存和高效访问。数据仓库采用主备多台服务器部署,多节点、节点间存储多副本,确保在数据和应用两个层面上保证高可用、无单点故障问题。MPP数据仓库在架构上构成多台数据库服务器(节点)构成的集群,工作节点各自的资源隔离,可实现在线动态添加节点来横向扩展数据库,整体资源可完成PB级的大规模并行处理。


该数据仓库系统自建成以来一直稳定运行,后续对集群数据节点进行了在扩容。扩容过程中未停止数据库服务,在线扩容完成后,对各节点中的数据进行了数据再平衡操作。此次扩容在存储容量扩展的同时,对数据处理性能也有较大幅度的提升。


-FIN-


文章转载自优炫软件,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论