暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

白皮书 |《实时数据服务平台 — 金融行业实时 HTAP 场景实践》

TiDB Club 2022-05-20
1135

数字化进入场景大爆发时代,开源技术体系和云原生基础设施为数字化场景提供融合支撑,数据服务消费化的趋势催生了统一实时数据平台。基于 HTAP(Hybrid Transaction and Analytical Processing,混合事务和分析处理)架构的一栈式数据服务平台脱颖而出,广泛应用于数据密集型应用和以“用”为核的实时数据服务平台。


《实时数据服务平台——金融行业实时 HTAP 场景实践》白皮书以企业级开源分布式数据库 TiDB 为例,简要介绍 HTAP 平台的定义、架构特点,剖析 HTAP 作为一栈式数据服务平台在金融行业实时风控、反欺诈、用户中心以及实时数据中台(实时数仓)等场景中的应用实践,解读 HTAP 在提升业务敏捷性、降低数据栈复杂性和实时洞察等领域的独特价值。

趋势一

数字化场景爆发需要开源技术体系和云原生基础设施的融合支撑

在未来十年的发展过程中,最重要的一个变化就是数字化加速。分析机构预测到 2025 年全球的创新数字化场景应用数量会是过去 40 年的总和,数字化进入场景大爆发时代,因此会对 IT 底层的通用技术产生巨大的需求。在未来数字化场景中,数字化创新三角成为最重要的三大支撑。
(数字化创新三角:数字化、开源技术体系和云基础设施)

趋势二

数据服务消费化催生统一实时数据平台

云计算、大数据、人工智能等技术的应用推动着传统金融行业的业务变革,金融科技对传统金融进行着全业务流程的重塑,为用户带来全新的业务体验。

以银行为例,以往用户办理各项业务都需要去银行网点,各类服务之间有着清晰的边界。随着数字化转型的推进,越来越多的业务转为线上化办理,银行逐步将金融服务嵌入到衣、食、住、行等生活场景,在多个领域满足客户多元化场景的需求。

TiDB 实时数据服务平台




TiDB HTAP 架构设计

TiDB 作为一款领先的 HTAP 数据库应用于全球 1500+ 头部企业的生产环境,在数字时代赋能行业用户的业务转型和升级。

TiDB 有两种存储节点,分别是 TiKV 和 TiFlash 。TiKV 采用了行式存储,所谓行式存储就是一行的数据会连续存放在相邻的位置,更适合 OLTP 类型的业务。TiFlash 采用列式存储,列式存储的含义就是不同行当中同一列数据会相邻存储在一起,行和列分别会应对不同的业务需求,列存倾向于响应 OLAP 类业务。
(TiDB HTAP 架构图)

虽然 TiDB 有 OLTP 和 OLAP 两种引擎,但是用户看到的是同一套引擎、同一个入口,提供统一的权限和使用体验。TiFlash 通过 Raft 协议同步数据,对 TiDB 集群的 OLTP 交易几乎没有影响,提供和 TiDB 保持强一致的数据读取,是真正的内核级 HTAP 分布式混合负载数据处理平台。

>>> 查看完整版白皮书


不同场景下的数据消费三维需求


一切技术来源于不同的需求场景,例如不同类型的金融业务有着不同的数据需求,与之相对应的数据库不仅需要有海量数据存储能力和高并发交易支撑能力,还需要针对不同业务有多样化的功能,如实时分析、实时汇聚等,于是企业内部逐渐形成了多种数据技术栈并存的局面,如下图所示,每种技术栈具备各自擅长的能力区间。
(主流数据技术栈能力象限)

>>> 查看完整版白皮书


TiDB HTAP 差异化优势:四性合一


与业界主流的数据库和大数据技术栈对比,TiDB HTAP 适用于数据规模几 T 到几百 T(小于 1PB) 延时容忍度中等,同时业务混合负载度高的场景,其差异化优势主要体现在“四性合一”:一致性、实时性、对等性、开放性。

>>> 查看完整版白皮书


金融行业 HTAP 场景实践


TiDB 作为新一代行列混合存储引擎(HTAP)分布式数据库,不但可以执行实时的数据交易和分析类业务,还可以与传统大数据生态技术栈例如 Flink Kafka 等相结合提供一栈式数据服务。不论作为单独的实时数据分析处理引擎,还是与传统大数据技术栈结合,都可以显著提升数据价值的获取和快速变现能力,帮助金融机构搭建各类数据驱动的金融场景,例如实时风控、反洗钱、用户中心、实时数据中台等,将核心的业务及数据能力下沉到场景,加速金融企业的数字化转型与升级。

>>>>

某证券公司实时风控场景实践

某证券公司的实时风控系统需要对“维持担保比”这项指标进行跑批计算和实时复杂查询,并对“维持担保比”指标的计算结果进行排序,通知平仓高危风险的客户(通常维持担保比小于 130% )追加担保物。传统 Oracle 数据库的横向扩展能力不足,大表之间关联分析通常需要花费 1-2 个小时,性能表现达不到近实时分析的业务要求。

该证券公司选择 TiDB 构建实时风控系统,从上游融资融券交易系统数据库中获取原始数据,通过 CDC 工具采集数据至 Kafka,再写入至 TiDB 。风控系统跑批并将结果写入 TiDB 并提供实时的复杂查询服务。
(某证券实时风控逻辑架构图)

>>> 查看完整版证券公司实时风控场景实践


>>>>

内外部监管 — 天翼支付反洗钱场景实践


翼支付反洗钱系统需要保存全国范围内的全量客户、账户、日常交易信息数据。系统每日从上游数仓中接入增量数据,按一定规则对历史交易进行回溯,分析交易的金额、频率、时间、IP,抓取可疑交易,判定客户可疑行为特征并形成可疑案例。

反洗钱系统数据处理层原先使用的是 Oracle 数据库,数据规模在 30T 左右。库中存量的交易数据已超百亿,日均增量数据约 1000-2000 万,客户账户表等存量数据达到 10+ 亿级别。在单节点架构下,Oracle 数据库无法满足数据集市相关数据存储的容量要求,同时指标计算、规则模型运算等数据处理的性能也达不到业务要求。随着更复杂的反洗钱规则和更多样的务需求不新出现,前台的查询分析页面的延迟已经相当严重。

在使用 TiDB 替换原有 Oracle 数据库后,翼支付反洗钱系统得到了如下提升:
  • 高并发能力大幅提升业务查询分析效率;
  • 弹性水平扩展提升数据库的存储与计算能力;
  • 显著提升处理的计算效率;
  • 批量处理时效性得到 5 倍左右提升。

>>> 查看完整版天翼支付反洗钱场景实践



>>>>

某金融科技企业用户中心实践


集团所有子公司的客户基本信息和签约信息都存储在用户中心系统中,为集团内各子公司业务提供公共接口服务,如客户信息管理、企业客户信息管理、手机号码管理等。不仅记录和提供客户静态的信息,而且还提供客户动态的交易信息和账户信息等多种实时的状态行为数据,是联机事务处理中的公共接口,通过这个系统解决不同子公司间客户信息的管理和共享问题。

随着业务数据的海量增长,多个业务大表的数据均已突破亿条规模,原先基于 OracleRAC 的数据库横向扩展能力明显不足,关联分析时效不满足业务要求。另一方面,金融企业面临高并发业务和高用户量带来的系统压力,对移动应用的响应速度要求更快,并逐步实现技术层面的国产化替换。经过多轮对比论证,该金融科技公司采用 TiDB 替换用户中心的 Oracle 数据库。

(用户中心系统高可用架构)

>>> 查看完整版金融科技企业用户中心实践

>>>>

浙商银行分布式 ODS 平台

随着浙商银行业务的发展和数据量的激增,国外商业数据库的数据处理和存储能力短板逐渐暴露,原有的数据架构体系不能满足新业务场景的需求。浙商银行在数据库的选型上主要有几方面的考虑:数据库集群规模和单表容量无限制,大数据量规模下性能比较优异,兼顾交易和实时分析场景,具备金融同业的应用案例,同时拥有活跃的开源生态、丰富的工具及文档。基于上述考量,浙商银行选用 TiDB 来构建分布式 ODS(Optional Data Store)平台。

以 TiDB 为中心,通过数据同步工具,将上游各种 OLTP 系统(DB2 Oracle MySQL 等)的业务数据全部同步到 TiDB 。TiDB 分布式架构满足各类上游异构交易数据库的持续接入,没有容量限制。
浙商银行采用 TiCDC 把某些表的增量变化接到 Flink 流计算平台,基于流平台做异步的实时流式计算,应用到管理驾驶舱系统,可以实时统计全行交易、全行各项经营的指标情况。浙商银行把计算结果同步到移动端,为手机端用户提供实时报表查看,陆续上线了在线积分 公益游戏等应用,实现了对现有集中式 ODS 平台的替换。

(浙商银行分布式 ODS 平台)

>>> 查看完整版浙商银行实践案例

面对金融数字化转型过程中数字化场景的大爆发,TiDB 一栈式实时数据服务平台解决了传统数据库和大数据系统建设与运维的痛点,满足企业“实时汇聚、实时反馈、实时洞察、实时决策”对多样化数据服务的需求。TiDB 不但可以支撑海量在线的业务交易,并且可以提供一体化实时的分析能力,为企业中的增强型消费者和每位员工提供一个访问数据的“任意门”,让他们实时获取个性化的数据服务。

金融企业可以单独使用 TiDB HTAP 能力构建轻量级的数据中台进行业务的实时分析,也可以结合传统大数据技术栈构建“离线 + 实时”的新一代数据服务体系。

  END  



💡 点击【阅读原文】,立即试用 TiDB 企业版 !
文章转载自TiDB Club,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论