现代企业数据架构

数据在概念化架构的初步设计中起着至关重要的作用。您可能需要确定安全性、性能和基础架构的要求，以处理设计中的工作量、可伸缩性和灵活性。在这种情况下，您需要了解数据模型以及如何处理架构决策，包括数据隐私和安全性、法规遵从性要求、要处理的数据大小以及用户处理要求。

图1：数据架构是企业架构的基础支柱

这就是为什么数据驱动架构是企业设计开发的驱动因素。本文中提到的现代企业架构包括微服务、云本地应用程序、事件驱动解决方案和数据密集型解决方案。本文旨在分享现代企业数据架构的观点，包括解决方案方法和架构模型，以开发适应速度、准确性、容量和各种数据处理服务的新时代解决方案。

Polyglot持久性和DBaaS

基于各种案例研究的最新数据架构趋势建议转向多语言持久化，这是一组用于集成架构的多种类型的数据存储技术。需要集成的体系结构来为跨不同服务的任何类型的数据处理提供高性能。通常在云应用中使用，这种实现由DBaaS支持。DBaaS的实施具有以下优点：

• 基于云的数据库管理系统（例如，Amazon Aurora、Azure Cosmos DB、Google Spanner）

• 高可扩展性

• 快速资源调配

• 增强云架构中的安全性

• 适合大型企业设计

• 共享基础架构

• 监控和性能调整工具的可用性

这种基于多语言持久性的微服务体系结构有助于开发弹性、健壮和高性能的体系结构，以支持不同微服务的不同类型的数据服务（见图2）。

图2：使用多语言持久性的示例体系结构

在上面的示例中，每个微服务以不同的容量和性能要求处理数据。因此，根据这些数据访问需求，可以选择数据库以满足性能、可伸缩性和存储在系统中的最佳数据模型。这将利用微服务在多语言持久性模型中创建经济高效且灵活的体系结构。

现代数据体系结构中的数据建模

在传统架构（architecture）开发中，数据建模是一项简单的任务，即从需求中导出数据元素，通过实体关系（ER）图描述实体之间的关系，并围绕数据元素定义参数（数据类型、约束、验证）。这意味着，在传统架构中，数据建模是作为一个单步活动来完成的，方法是根据需求定义数据定义语言（DDL）脚本。

图3：现代企业数据建模阶段

在现代企业数据架构中，这被分为概念、逻辑和物理数据建模的多阶段活动，如下图3所示。在数据密集度高的数据驱动架构中，数据建模是一个基本和关键的步骤（当然，也很耗时）。在这种架构开发中，数据建模创新地分为三种不同类型：

• 1.概念数据模型（CDM）——源自业务需求，用于定义数据流中处理的“什么”。通常，CDM由业务利益相关者（例如，顾问、业务所有者、应用程序分析师）和数据架构师定义。

• 2.逻辑数据模型（LDM）——源自CDM，用于深入研究实体之间的逻辑关系，并详细说明实体的数据类型。处理数据流中的“如何”处理数据，并由业务顾问和数据架构师/工程师定义。

• 3.物理数据模型（PDM）–基于LDM定义实际蓝图，并将其转换为数据脚本，以便在实时环境中执行。这是数据结构性能、事务处理机制以及数据模型的调优和优化的关键阶段，通常由数据库管理员或数据工程师处理。

数据智能

数据智能和数据分析是现代企业数据架构中使用的现代技术，用于NoSQL数据库处理大数据以及数据密集型应用程序架构。它涉及一种或多种流行的技术解决方案，如用于解决方案灵活性和可扩展性的云平台、用于构建数据处理智能的高级算法的AI/ML，以及用于处理数据存储和分析的大数据平台。

数据智能通过使用预测智能来集中数据，以便对未来进行可视化（预测），从而对数据进行可视化和分析。迄今为止，一家企业的股票走势如何是数据智能的一个例子，而数据分析正利用历史来预测明年的变化情况。两者都使用AI/ML和深度学习技术，从各种来源读取数据，包括数据馈送、图像、视频流和音频提取，以解释和准备数据处理结果。数据智能的使用有助于向不同的利益相关者（包括业务和技术角色）直观地解释数据。

当您开发数据智能解决方案时，您需要在数据库系统中具有自我管理功能，以便数据库能够自给自足，并能够自动处理危机情况。这被称为自主数据库，是新时代数据持久化系统未来的一部分。

自治数据库

数据库充当IT应用程序的大脑，因为它是应用程序中正在处理和引用的数据的中央存储。数据库管理员（DBA）处理数据库调优、安全活动、备份、灾难恢复活动、服务器/平台更新、健康检查以及数据库的所有其他管理和监视活动。

当您使用云平台进行应用程序和数据库开发时，上述活动对于提高安全性、性能和成本效率至关重要。这里的重要方面是通过减少努力并使其更具前瞻性来实现这些目标。Oracle创造了一个“自主数据库”，它自动化了DBA在管理数据库平台和减少人为干预方面的许多活动。

数据网格

传统上，数据本质上是单一的，所有域都在一个数据存储中，有效的数据分区和数据解决方案将通过数据仓库和数据湖解决方案来完成。数据湖过去在数据管理和现代数据分析方面效率更高，这迎合了敏捷的数据架构，但数据的访问方式缺少数据湖中的联合或自主方法。

图4：数据网格体系结构

如图4所示，统一数据解决方案由现代企业数据体系结构通过数据网格来解决，数据网格是数据存储的微服务模式。数据网格根据功能复制服务网格。当服务网格创建代理以在服务之间进行接口时，数据网格创建代理来进行数据抽象和接口，以使用数据分析、仪表盘和数据查询应用程序等应用程序。

数据网格体系结构有助于开发多维数据解决方案，以在统一的体系结构中同时处理操作数据平面和分析数据平面，而无需开发两种不同的数据解决方案。

使用Lakehouse体系结构的异构数据管理

对于数据分析和智能数据管理，我们更喜欢使用数据湖解决方案或数据仓库解决方案，但这些解决方案都有自己的数据组织和管理方式。数据仓库处理关系数据（原始数据馈送）和处理的数据（数据接收后），这些数据在存储到数据存储服务（数据浓缩）之前以模式结构组织。因此，数据分析对清理后的数据起作用。

数据仓库是一种昂贵的存储形式，但它在查询处理方面更快，因为它处理基于模式的结构化数据，并且适用于数据智能、批处理和实时数据可视化。

数据仓库体系结构是一种混合方法，使用以下方法处理异构数据管理：

• 数据湖

• 数据仓库

• 专门为中间数据处理构建的存储

• 用于更好的数据处理策略的数据治理机制

• 数据完整性服务

数据仓库体系结构克服了数据仓库和数据仓库解决方案的缺点，因此在现代企业数据解决方案中越来越受欢迎，如使用各种来源的数据馈送的潜在客户开发和市场分析。

湖屋体系结构可以处理由内而外的数据移动，从存储在数据湖中的数据到一组提取的数据，再到专门构建的用于分析或查询活动的存储。从数据仓库到数据湖的外部数据移动可以帮助对完整的数据集进行分析。使用湖屋体系结构，我们还可以为大规模并行处理（MPP）处理数据，如数据仓库应用程序、高速数据查询和数据湖应用程序。

结论

现代企业数据实践提升了构建弹性、敏捷和可扩展架构的方法。这些方法将通过采用多语言持久性、现代数据建模阶段、数据湖和数据网格等技术和框架，满足构建集成数据解决方案的性能效率、卓越运营、高可用性和安全/合规要求。

原文标题：Modern Enterprise Data Architecture
原文作者：Dr.Magesh Kasthuri
原文链接：https://dzone.com/articles/modern-enterprise-data-architecture