随着业务高速发展，数据库也经历了前所未有的数据查询量，查询数量曲线呈指数级增长，原有的 MySQL 遇到了极大瓶颈。数据的安全性、数据的可用性和数据架构复杂度以及改造成本是视野考虑数据库选型的重点。在早期，我们使用自建分布式数据库解决磁盘扩容的问题后，对性能的需求越来越高。为解决性能瓶颈和业务稳定性等痛点，我司引入了阿里云瑶池旗下的云原生数据库PolarDB for MySQL代替自建的分布式数据库。通过充分使用PolarDB for MySQL的列存索引（IMCI）功能和快速弹性能力，视野能够轻松应对流量洪峰。相比自建分布式数据库，性能提升2倍以上，其HTAP能力和业界国内首个Select into outfile能力都很好地满足了我们的业务需求。
视野数科是专注服务于一级市场、公司信贷、产业规划招商业务领域、面向多层次资本市场和全国民经济产业链的大数据产业投融资信息服务商。从原先为金融机构提供数据信息服务出发，近年服务客户已逐步扩展服务政府、产业园区、大型国企集团等，同时覆盖数据范围也从金融相关数据逐步延伸到产业产品数据、企业经营数据、宏观经济数据、政务数据、政策舆情数据、地理信息数据等。
在视野数科进入多产品线发展阶段之后，来自各个行业客户的产品需求量不断增加，数据总量及数据查询量也随之不断攀升。作为视野数科的核心产品，产融投资大数据平台数据库性能面临前所未有的挑战。从浩如烟海的数据库中快速找到用户所需数据并实时呈现给用户，辅助用户决策，数据库每时每刻都需要完成大量的外部访问需求，并逐一记录。如果在用户使用系统时出现问题，会降低用户体验和产品满意度。视野数科的核心产品+产融投资大数据平台系统底层数据架构由多套集群组成，单集群数据量十分庞大，用户使用过程依靠由数据库系统管理底层数据。早期系统采用自建的分布式数据库有如下痛点：自建分布式数据库虽然具有较好的水平扩展能力，但为了应对不断增长的数据量只能不断的扩容新节点，扩容节点数据需要rebalance，扩容期间占据IO资源导致整体集群抖动比较明显。日常操作DDL时性能较差，容易阻塞对业务造成影响。业务误操作需要恢复时，备份恢复速度较慢。相同配置下分布式数据库性能较差，数据库多次扩展难度和维护量极大。业务表的数量存放几百万张表时，容易出现故障。
视野数科运维与研发团队对主流的云原生数据库、分布式数据库等方案进行选型与性能压测。在压测中，阿里云瑶池旗下的云原生关系型数据库PolarDB for MySQL在 P95 延迟、TPS 事务指标、QPS 等方面整体性能都强于自建的分布式数据库，并且PolarDB的性能可以在云上平滑的弹性扩缩容，让繁琐的扩缩容操作使用起来平滑顺畅，并且相同配置下性能更优，压测增强了视野数科技术团队的信心。因此在业务上云的过程中，我们选择采用基于PolarDB for MySQL的一站式HTAP数据库产品解决方案，其所提供的一体化实时事务处理和实时数据分析能力，仅用一套数据库系统，即可同时满足业务OLTP及OLAP的需求，并且性能也得到了大幅提升。针对我们需要的Select into outfile能力，PolarDB for MySQL团队也在短期内提供了很好的技术支持。最终，我们成功将产融投资大数据平台所使用的自建分布式数据库集群也迁移到了PolarDB for MySQL上面。PolarDB for MySQL可以100%兼容原生MySQL，这也让我们的业务改造更加简单。PolarDB企业版基于云原生架构、计算存储分离、软硬件一体化设计，业务应用程序只需连接一个可读可写（自动读写分离）模式的集群地址，写请求会自动转发到主节点，读请求会自动根据各节点的负载（当前未完成的请求数）转发到主节点或只读节点自动分流到主从库上，而且基于负载的自动调度策略，按照活跃连接数自动调度，实现多个节点间的负载均衡。此外，PolarDB for MySQL支持存放几百万到千万表，实现分钟级弹性扩缩容。在我们面对流量洪峰时，能够快速弹出所需的数据库资源。在我们日程系统上线过程中，DDL是比较大的一个痛点，每次执行时耗时都会比较久，PolarDB的并行DDL的功能能够加速DDL执行，避免阻塞后续相关的DML操作，缩短执行DDL操作的窗口期，耗时可以缩减到原来自建的十分之一。在产融投资大数据平台里，我们需要频繁的对数据库结果进行按特定格式导出。和传统的自建数据库相比，由于很多云数据库不开放底层操作系统访问权限，无法支持select into outfile能力，这成为了我们使用过程中的一个痛点。在了解到我们的需求痛点后，PolarDB for MySQL数据库团队能够快速响应，率先支持了这一能力，很好地满足了我们的业务需求。在视野数科的业务场景中， PolarDB for MySQL原生HTAP能力，无需ETL，一套系统同时支持交易和分析，降低开发和运维成本，让我们可以不再重度依赖实时数仓，部分轻分析场景可以直接使用HTAP。在高压力场景下，依然能够满足业务高效平稳运行，同时也简化了系统架构，让数据分析更实时更稳定。其高性能表现能够让我们轻松应对流量洪峰。分钟级增删节点，存储容量在线扩容无需中断业务，深度优化的内核和物理复制、RDMA高速网络和分布式共享存储也给我们带来良好的使用体验。随着数字化转型的不断升级，企业的核心竞争力在于通过数字化打造敏捷的业务模式，最大化地发挥数据价值。PolarDB for MySQL为客户产融投资大数据平台提供一站式的数据服务，具备一个数据库一体化的实时事务处理和实时数据分析的能力，通过一套数据库系统，即可满足业务的OLTP及OLAP需求。其高性能、HTAP能力和业界国内首个Select into outfile功能都带给了我们良好的使用体验。 / End /
点击「阅读原文」了解云原生关系型数据库PolarDB更多内容
