暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

来自 NoSQL 的关系型数据库的数据迁移的价值

原创 X丶 2022-10-24
355

关系数据库曾经是数据管理技术的缩影,但随着单个服务器缺乏支持现代企业生成的大量数据的细微差别,它变得越来越过时。NoSQL 数据库为传统数据库架构提供了解决方案,提供了可扩展、一致的性能,但是如何在不使新架构过于复杂的情况下迁移如此大量的数据呢?

DBTA 最近举办了一场由 AWS 赞助的网络研讨会,题为“使用您现有的 SQL 技能为 NoSQL 调整数据”,演讲者是专门从事 Amazon DynamoDB 的亚马逊网络服务专业解决方案架构师 Robert McCauley,讨论了一种通过利用 Amazon DynamoDB 的 SQL 技能将关系数据库迁移到 NoSQL 数据库的方法论方法。

自 DynamoDB 于 2012 年成立以来,亚马逊已经拥抱了可扩展数据库技术的未来,以应对繁重的应用程序使用。通过分析访问模式并将这些知识应用于数据库解决方案,Amazon 创建了 DynamoDB 作为所有新应用程序的默认数据库,现在已经取代了所有 Amazon 关系数据库引擎,并运行了公司内一半以上的系统,包括 AWS。DynamoDB 的全心全意采用证明了其效率和可扩展性,这是企业跟上数据生成和现代化的必要功能。

McCauley强调了正在使用的传统关系数据库的问题,称其整体性是任何企业的巨大痛点。关系数据库作为单个服务器存在,正在处理太多的应用程序,而无法有效扩展。尝试纵向扩展时性能不可预测,JOINS 会给 CPU 的可操作性带来负担,并且由于维护和扩展工作而导致的拥有成本增加,从而使关系数据库的成本高于其对许多组织的实用性。

您如何知道您的关系应用程序架构是否会从迁移到 DynamoDB 中受益?根据 McCauley 的说法,键值查找、1:许多查询、无服务器应用程序和 JSON 文档存储都是可以从上述迁移中受益匪浅的实例。但是,ERP 应用程序和数据仓库/数据集市最适合关系 SQL 数据库。

然后,麦考利详细介绍了 DynamoDB 表及其在传统关系迁移方面的具体优势,如下所示:

  • 无实例
  • 开发人员免费创建新的空表
  • 固态硬盘支持的存储
  • 无架构属性,可消除用于存储新变量的架构更改
  • 用于各种访问模式支持的全局二级索引 (GSI)

关系数据库迁移到单一表格式需要一种称为数据整形的概念策略,该策略是指开发人员准备数据以与 DynamoDB 或任何其他 NoSQL 数据库集成的过程。McCauley 通过客户表中的示例架构来构建这一概念,说明如何将它们转换为 DynamoDB 单个表。McCauley 指出的一个显著特点是通过 UNION ALL 函数消除 JOINS,这些函数垂直堆叠表以避免与 DynamoDB 进行不必要的数据重复。当需要复制时,用户可以使用 SQL 复制数据以供查询和将来使用。

然后,McCauley 以 AWS 数据库迁移服务 (DMS) 作为高效迁移关系源数据的旗舰示例,对迁移策略和工具进行了解释。由于 AWS DMS 是多线程、多服务器和多主机的,因此它可以获取大量数据以实现最佳迁移。这并非没有限制,麦考利补充说;由于该解决方案将数据从一个表传输到一个表,因此它不会合并NoSQL表格式的表。为了缓解这一挑战,在使用 SQL 视图准备数据后,可以使用 DMS 来看起来像您的 DynamoDB 表。麦考利随后列出了将数据迁移到NoSQL数据库的相关策略:

  • 使用DMS或您喜欢的提取,转换,加载工具。
  • 编写和运行自定义脚本以获得批量加载的经验。
  • 从头开始存档旧数据并仅迁移维度数据。
  • 写入这两个数据库一段时间以验证 DynamoDB。

McCauley 提供的各种可视化示例支持了该网络研讨会,重点展示了传统关系数据库的缺点以及采用和迁移到 NoSQL 数据库(如 DynamoDB)的优势。

原文标题:The Value of Data Shaping from Legacy Relational Databases for NoSQL
原文作者:Sydney Blanchard
原文地址:https://www.dbta.com/Editorial/News-Flashes/The-Value-of-Data-Shaping-from-Legacy-Relational-Databases-for-NoSQL-154971.aspx

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论