
腾讯云数据库 44
第七次全国人口普查是在中国特色社会主义进入新时代开展的重大国情国力调查,全面
查清中国人口数量、结构、分布、城乡住房等方面情况,为完善人口发展战略和政策体系,
促进人口长期均衡发展,科学制定国民经济和社会发展规划,推动经济高质量发展,开
启全面建设社会主义现代化国家新征程,向第二个百年奋斗目标进军,提供科学准确的
统计信息支持。
第七次全国人口普查入户工作于 2020 年 10 月 11 日至 12 月 10 日期间进行,11 月 1 日起正式开启。此次
人口普查将采取电子化方式开展普查登记,同时倡导普查对象自主填报的方式,鼓励大家使用手机等移动终端
自行申报个人和家庭信息。整体而言,使用电子化方式开展全国人口普查工作,涉及范围广、统计维度多、技
术难度大,对背后数据库的支持高并发能力、可靠性、一致性、扩展性、稳定性,以及复杂查询分析能力、数
据安全保护能力提出极高的要求。
项目需求
第七次全国人口普查实现全面电子化的背后主要由腾讯云数据库提供支持。腾讯云数据库提供了
“OLTP+OLAP”双引擎融合的企业级分布式数据库 TDSQL,支持了十亿级用户数据、七百万个终端和百
万级峰值 TPS(每秒事务处理量),平稳、高效支撑第七次全国人口普查工作完成。
OLTP 专门用来完成前端生产系统的事务处理,其最大的优点是即时地处理输入的数据,并及时响应,实时保
持系统数据处于最新状态;OLAP 则负责后期数据联机查询分析处理,支持复杂的分析操作。
其中,TDSQL OLTP 引擎提供了支撑大并发的性能,包括线程池、无锁优化等等,支撑 3 万 + 的数据库连接;
强同步技术在跨可用区的情况下,满足高吞吐量、主备数据一致性和高可用的能力;弹性的容量伸缩,可根据
实际运营情况进行容量水平扩展。此外数据库智能管家 DBbrain 可针对性能较低的 SQL 给出优化建议,同时
自动评估业务的事务模型,降低锁冲突,提升并发能力。
测试中,TDSQL 应对高并发场景时可以实现数百万每秒的吞吐量,这样的吞吐规模已经可以满足中国人口 2
倍的数量,实际统计中 TDSQL 自然扛住了普查过程中的并发高峰。
同时,业务具有大规模实时查询分析的需求,普查员在前端不断录用的数据也将在 TDSQL OLAP 能力引擎
中进行进一步的数据分析。在分析型功能特性方面,TDSQL OLAP 引擎通过对多表 join 查询、复杂子查询、
聚合运算、DN 数据高效重分布表现上进行了极大优化,大大缩短了业务报表分析时间。TDSQL 支持目前市
面上几乎全部标准的 OLAP 复杂查询计算模型,包括 TPCDS 等,满足各类复杂查询业务需求。
在此过程中,OLAP 分析计算开销大、延迟长,同时还要满足海量的并发请求,TDSQL OLAP 引擎通过水
平扩展多个只读平面,为复杂查询分析场景提供线性读扩展能力,并通过在多个平面前置负载均衡做到扩缩容
业务完全无感知。在这些庞大的数据中,不乏多张超级大表关联高并发统计查询,其每张表中存放了超过 20
亿 + 条记录。
解决方案
第七次人口普查
全国人口普查的电子化推进,TDSQL“OLTP+OLAP”双引擎融合一起支持了十亿级用户数据、七百万个终
端和百万级峰值 TPS(每秒事务处理量),支撑了千万级峰值的统计查询服务,助力第七次全国人口普查工作
顺利完成。同时,据新华网统计报道,与 2010 年全国第六次人口普查的纸表入户登记方式相比,电子采集的
方式将登记时间缩小到了 20 分钟以内,也很大程度上降低了后期数据录入、处理的难度。
项目成果
相关文档
评论