暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

试试升级吧!TiDB 新版本深度解析:作业帮与某旅行平台的实战经验

PingCAP 2024-05-30
127

导读

在数字化时代,数据成为企业最宝贵的资产之一。随着互联网业务的迅猛发展,数据量的爆炸性增长对企业的数据管理能力提出了前所未有的挑战。如何有效管理海量数据,保障数据的安全性和可用性,同时降低运营成本,成为企业亟需解决的问题。分布式数据库以其高扩展性、高可用性和高性能等特性,逐渐成为企业数据库架构的首选。在众多分布式数据库中,TiDB 作为一款开源分布式数据库,自推出以来便受到了业界的广泛关注。
本文将结合作业帮和某旅行平台的实践经验,深度解析 TiDB 新版本的优势与升级经验,供大家参考。

作者丨刘强,作业帮分布式数据库负责人;田帅萌,同程旅行 TiDB 负责人。

编辑丨黄漫绅(表妹)


/ 初识 TiDB

作业帮自 2015 年成立以来,一直走在科技助力教育的路上。随着业务的蓬勃发展,数据量激增,传统的数据库开始显得力不从心。在这样的背景下,作业帮偶遇了 TiDB,一款开源的分布式 HTAP 数据库,它以高性能、高可用性和水平扩展的特性,迅速吸引了作业帮技术团队的注意。

最初,作业帮选择 TiDB v4.0.9 版本作为技术储备,以应对日益增长的业务需求。TiDB 的引入,让作业帮的报表服务迎来了转机。报表服务曾因数据量大、MySQL 单实例存储容量受限而面临性能瓶颈。通过 TiDB 方案落地,作业帮成功实现了报表处理时间大幅缩短了 80%,显著提升数据处理效率。

/ 报表服务的性能突破

在引入 TiDB 之前,作业帮的报表服务面临着数据处理效率低下的问题。随着业务的扩展,每日产生的数据量急剧增加,原有的 MySQL 单实例已经无法满足快速增长的存储和计算需求。在这种情况下,作业帮决定采用 TiDB 来突破性能瓶颈。

通过 TiDB,作业帮实现了数据的快速同步和处理。TiDB 的分布式架构支持弹性水平扩展能力,通过简单地增加节点即可提高计算和存储能力,完美解决了 MySQL 单实例的扩展性问题。此外,TiDB 兼容 MySQL 语法协议,使得从 MySQL 到 TiDB 的迁移变得无缝和平滑。

/ 深入使用 TiDB

随着对 TiDB 的深入了解,作业帮开始在各个业务团队进行 TiDB 技术分享,推广 TiDB 的特性和优势,并主动寻找合适的业务场景进行应用。其中报表服务平台是 TiDB 应用的典型案例,通过 TiDB 的引入,报表服务突破了存储和性能瓶颈,显著提升了数据处理效率。

业务流水数据管理

业务流水数据的特点是每日写入量大、保存时间长。TiDB 以其分布式架构和弹性扩展能力,成为解决存储瓶颈的理想选择。随着业务的不断发展,作业帮逐渐将更多的业务数据迁移到 TiDB。TiDB 的 TiFlash 列存引擎的加入,为复杂查询提供了强大的支持。

/ TiDB v6.5+版本的引入以及新特性与优势

随着 TiDB 版本的不断迭代和升级,作业帮也开始关注并采纳新版本带来的新特性和优化。TiDB v6.5 版本中, TiCDC 同步性能的大幅提升。自动过期删除功能以及双云环境下主备集群架构的优势,为作业帮带来了数据同步和管理上的革新。

TiCDC 同步性能的大幅提升

在 TiDB v6.5 版本中,TiCDC(TiDB Change Data Capture)的同步性能得到了显著提升。TiCDC 作为一个捕获并传输数据变更的组件,对于需要实时数据同步到下游系统的业务至关重要。与 TiDB v5 版本相比,新版本在数据同步方面有了数十倍的提升,有效解决了之前版本中出现的同步延迟问题。

自动过期删除功能

TiDB v7.5.1 版本引入了自动过期删除功能,这一功能允许用户通过在表中添加时间字段来自动清理过期数据。这不仅有助于降低存储成本,还能满足业务对于数据时效性的需求。作业帮刘强老师在演讲中分享了自动过期删除功能的实际应用案例,并强调了通过调整参数来优化 cpu 的使用率的重要性。

双云环境下的主备集群架构

随着企业对数据安全性和可用性要求的提高,多云部署逐渐成为趋势。在双云环境下,基于 TiCDC 实现的主备集群架构,不仅提升了系统的可用性,还为企业在多云环境下的数据同步和管理提供了新的解决方案。作业帮刘强老师在演讲中详细介绍了这一架构的优势和实现细节。


/ 升级决策背景 /

作为负责 TiDB 运维负责人,田帅萌老师从 2019 年就开始接触 TiDB ,对 TiDB 的功能、能力边界、新版的优点了如指掌。在业务高峰期面临数据量的激增和复杂查询处理的挑战。为了应对这些挑战,帅萌同学决定将核心系统升级至 TiDB v7.5.1 版本。

性能提升的实战分析

升级至 TiDB v7.5.1 版本后,首先感受到的是性能的显著提升。在业务高峰期,TiDB 展现出了至少一倍的性能提升,这得益于新版本在查询优化、执行计划绑定等方面的改进。特别是在处理复杂 SQL 和多索引场景时,优化器的性能得到了极大的增强,减少了全表扫描的发生,从而显著降低了 TiKV 的 CPU 消耗和 TiDB 的内存使用。

新功能的应用与优势

TiDB v7.5.1 版本引入的自动过期删除功能,为的数据管理带来了自动化和智能化的体验。通过在表中添加时间字段,系统能够自动清理过期数据,简化了数据生命周期管理,降低了存储成本,同时满足了业务对数据时效性的需求。

稳定性与可观测性的增强

稳定性是在线服务的核心要求。在升级至 TiDB v7.5.1 版本后,在今年的五一假期期间,核心数据库系统表现出了卓越的稳定性,未出现任何故障,确保了业务的连续性和数据的准确性。

新版本增强了 TiDB 的可观测性,提供了更智能的监控和诊断工具。Dashboard 的可分享功能使得业务团队也能直观地发现慢查询,而 top SQL 功能让问题 SQL 无处遁形。这些工具极大地提升了问题发现和解决的效率。

/ 升级对比结果 /

TiDB v5.0.4 vs TiDB v7.5.1 的升级对比:

TiDB v7.5.1 版本从 999 耗时、99 耗时优于 v5.0.4 版本 8-10 倍左右,业务耗时方面有明显降低。

来自版主 @h5n1 从 TiDB v5.2.3 vs TiDB v7.5.1 的升级对比:

TiDB v7.5.1 版本处理请求更跟均衡,抖动减少,业务感知请求耗时平稳。

TiDB v7.5.1 版本请求 PD TSO 耗时明显降低,偶发性获取 TSO 等待超时情况已经没有了。

TiDB v7.5.1 版本的 IOPS 请求次数也有明显降低,说明内存请求处理增加,降低对磁盘读写依赖。

在业务中部分查询耗时从之前的几十秒降低至秒级别以内,业务感知数据库响应平稳、耗时降低。

/ 老用户的视角:快速迭代的适应 /

作为 TiDB 的老用户,对 TiDB 的快速迭代表示肯定。每次迭代不仅修复了已知问题,还引入了性能改进和新功能,使得系统更加完善和强大。通过与 TiDB 社区的紧密合作,能够及时获得支持,确保了升级过程的顺利进行。

/ 对新用户的建议:直接上 v7.1.5 版本 /

对于新用户,帅萌同学建议直接升级至 TiDB v7.1.5 版本。这个版本不仅稳定性得到了验证,而且在性能和新功能上都有显著的提升。通过直接采用最新版本,新用户可以避免逐步升级带来的复杂性和风险,快速享受到 TiDB 带来的所有好处。

通过刘强和田帅萌的深入分享,我们可以看到 TiDB v6.5 版本在性能提升、新功能引入以及对业务增长的适应性方面都显示出了其强大的竞争力:

  • 性能提升,TiCDC 同步性能增强:新版本 TiDB 中 TiCDC 的同步性能显著提升,为需要实时数据同步的业务场景带来革命性的改进,大幅降低了数据同步延迟。

  • 存储优化,自动过期删除:v7.5.1 版本引入的自动过期删除功能,有效管理数据生命周期,自动化清理过期数据,降低存储成本,同时简化了数据管理流程。

  • 架构优势,双云环境下的主备集群:适应多云部署趋势,基于 TiCDC 实现的主备集群架构,提升了系统的可用性和灾难恢复的灵活性,保障了数据的安全性。

  • 升级后稳定性增强:通过从 TiDB v5 升级到 v7.5.1 版本,帅萌同学的感受在业务高峰期间的稳定性得到了增强,五一期间平稳运行,未出现故障。

  • 可观测性改善,增强的监控与诊断工具:新版本提供了改进的 dashboard 和 top SQL 功能,使得慢查询和问题 SQL 的识别更加直观和便捷,提升了问题发现和解决的效率。

  • 升级策略,风险控制:采取新建集群和数据迁移的策略进行升级,有效控制了升级过程中的风险,并通过详尽的准备工作确保了数据的一致性。

  • 参数调优:在升级过程中遇到参数配置问题,通过调整配置和增加缓存容量,有效解决了性能下降的问题。

  • 成本效益,数据归档和压缩:利用 CPU 资源优化存储空间使用,为写多读少的场景提供了成本效益高的解决方案。

他们的演讲不仅分享了技术细节,还提供了实际应用中的经验和建议,为其他企业在使用和升级 TiDB 时提供了宝贵的参考。随着技术的不断进步和社区的持续支持,TiDB 无疑将在未来的数据库领域扮演更加重要的角色。


TiDB 社区互助升级活动


你是否还在为 TiDB 升级而犹豫不决?是否担心升级过程中遇到问题无法解决?别担心,TiDB 社区来帮忙!🌟

🔥 我们组织了一支由社区版主、资深布道师和官方技术支持组成的强大升级导师团队,为你的升级之路提供专业指导和实时帮助!

📚 活动亮点:

专业导师团队:20 位专家为你解答升级中的疑惑。

问题解决:遇到问题,微信群内实时解答,手把手教你解决。

经验共享:共享升级经验,学习他人实践,共同进步。

丰富奖励:参与即有奖励,优质文章和新Bug反馈还有额外积分奖励!

📢 快来加入我们,一起享受升级后带来的快乐和效率提升!立即报名,获取更多信息和帮助:

/ 相关推荐 /

2024 TiDB 社区升级互助活动正式启动!由 20 位社区版主、资深布道师及官方技术支持组成的升级导师天团为你升级保驾护航!

数据价值在线化丨TiDB 在企查查数据中台的应用及 v7.1 版本升级体验

有关 TiDB 升级的二三事——教你如何快乐升级

💡 点击文末「阅读原文」立即下载试用 TiDB!

文章转载自PingCAP,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论