一站式升级 Azure 大数据分析架构

根据微软发布的 2019 年第二财季财报显示：云业务 Azure 收入增长76%！再一次印证了企业迁移上云的火爆趋势。尤其在商业智能分析和数据科学领域，Azure 提供了丰富的服务，让数据科学家和分析师能够轻松处理超大复杂数据集，并从中挖掘业务价值。

在聚集了众多微软合作伙伴的全球 Microsoft Inspire 会议上，微软向大家展示了其最新的产品技术，其中 Azure 云端迁移仍是万众瞩目的焦点。迁移到 Azure 不仅有助于控制运营和基础架构成本，还可借助 Azure SQL 数据库、Azure 应用服务和 Azure IaaS 等完全托管的服务，让企业专注于实现业务创新。

Azure SQL 数据仓库是 Microsoft 的云数据仓库产品。与 Azure Active Directory、Azure Data Factory、Azure Data Lake Storage、Azure Databricks 和 Microsoft Power BI 无缝集成，同时也适用于市场上其他 BI 工具。SQL Data Warehouse 的一些主要功能包括弹性扩展，无限存储，自动化管理和高级工作负载管理。以下是基于Azure 数据仓库的现代数仓解决方案架构图：

图1：Azure 现代数据仓库解决方案

（点击可看大图）

1. 使用 Azure Data Factory将所有结构化、非结构化和半结构化数据（日志、文件和媒体）提取到 Azure Data Lake  Storage（ADLS）中。

2. 利用 ADLS 存储中的数据，通过 Azure Databricks 弹性执行作业，获得清理和转换后的数据。

3. 可将清理，去重，转换后的数据存储到 Azure SQL Data Warehouse，与现有的结构化数据结合，为所有数据创建一个中心。利用 Azure Databricks 和 Azure SQL 数据仓库间的本地连接器来访问和大规模移动数据。

4. 使用 Azure Analysis Services 提供数据仓库之上的聚合服务并为 Power BI 报表提供快速查询响应。

5. Power BI 也可直接查询 Azure Databricks 中的数据上的表。

   
   

Azure Analysis Services 是 Azure 云端提供的数据建模服务，为 BI 工具提供了统一的语义层，如图1中所示，Azure Analysis Services和 Azure云上的Azure SQL Data Warehouse, Power BI 形成了一整套完整的 Azure 云端数据服务，并可通过 Azure Active Directory 服务统一管理用户的权限访问，因此被使用 Azure 云端部署的企业广泛采纳。

然而 Azure Analysis Services 在中国的落地也面临一些挑战。 

Azure Analysis Services 在中国区的最大性能配置为S4（100GB 内存），且仅支持扩展 2 个查询节点，Azure Analysis Service 对数据的提取，查询，计算将仅能依赖这100GB*2的内存，这意味着当查询数据量增大，或并发增加时，Azure Analysis Service 会因为内存不足而导致查询性能受损，甚至会出现服务不可用的情况，给用户带来不稳定的查询体验。

目前，Kyligence 可以很好得填补 Azure Analysis Services 的这一不足。 Kyligence Cloud（大数据分析平台）在云上提供托管的增强型 OLAP 分析服务，它利用云原生架构可以在云端数据湖上构建快速、弹性、成本有效的创新大数据分析应用。

图2  Kyligence Cloud on Azure 参考架构

（点击可看大图）

在 Azure 平台上，Kyligence 从 Azure SQL Data Warehouse 读取数据并生成预计算的聚合 Cube。然后，它将结果存储在 Azure Data Lake Storage 中。Power BI 或其他 BI工具可通过标准 ANSI SQL 接口进行查询。

Kyligence Cloud 还提供集群部署和管理，帐户管理和在线诊断功能。可以提供对接 BI工具的统一语义层。Excel、Tableau 等 BI 工具可通过标准的 MDX 接口查询访问统一语义层。

Kyligence Cloud 构建于分布式架构之上，可以轻松扩展以支持超大数据集和并发用户。最近，在一家大型金融机构的测试中，我们为 Azure 上的 3,500 亿行数据进行了预计算并构建了 Cube。 该企业使用 Kyligence OLAP 引擎为数十亿条记录构建多维数据集，并服务超过 1,000 个并发用户。

Kyligence 不仅仅是解决 SSAS 解决方案的痛点。采用 Kyligence 作为云上大数据分析平台的企业也可以获得这些好处：

1）增强型 OLAP 服务

创建多维数据集后，用户可以按照自己的方式对数据进行切片和切块。支持需要不同查询和聚合的新需求非常容易。最终用户可以在仪表板中创建新图表并立即查看结果。

Kyligence 的智能建模和优化功能可在后台自动分析查询性能和多维数据集消耗统计信息。这允许它进行必要的调整而无需用户干预。

2）降低云上总体拥有成本

通过预计算进行聚合后，查询中需要的实时聚合计算就会大大减少，从而降低了对计算资源的过多要求。Kyligence Cloud 针对分析场景的需求，优化了云环境。通过集群仅按需分配必要资源，可以降低企业总体拥有成本（TCO）。

3）满足所有查询要求

在上面的体系结构图（图2）中，Azure SQL Data Warehouse 存储历史数据，Kyligence 存储聚合结果。Kyligence 还可以作为聚合查询和详细查询的统一查询入口点。

如果 BI 工具发出聚合查询，Kyligence 将只查找 Cube 并获得结果。如果 BI 工具查询具体明细 ，Kyligence 可以通过明细索引返回结果或将查询路由到 Azure SQL Data Warehouse。Azure SQL 数据仓库将执行查询，并将结果通过 Kyligence 返回 BI 工具。

4）稳定的查询服务能力

在 Azure 云上，Kyligence Cloud 基于 HDInsight 或 Spark 等大数据分布式架构进行计算，并支持计算资源的弹性伸缩，这意味着当处理海量数据或查询并发很高时，Kyligence Cloud 可以弹性得拓展底层使用的节点资源，并且这个扩展是没有上限的，这样的架构支撑了在处理海量数据和高并发场景时，Kyligence Cloud 可以灵活的保证服务的稳定性。

即刻开始升级 Azure 云端大数据分析架构！

现在是升级您的数据服务的最佳时机，公有云平台（如Azure）的技术进步使选型新的大数据架构变得轻而易举，但选择合适的云上数据分析服务和合作伙伴来帮助您升级大数据是云上分析服务成功的关键。

如果您已准备好采取下一步迁移，希望提高已经使用的云上 BI 分析的性能，欢迎报名参加我们近期举办的一站式升级 Azure 大数据分析架构的网络分享。

关于 Kyligence

Apache Kylin 在 PB 级别数据上带来了开创性的即时分析能力，并被全球超过1000多家企业所使用。由 Apache Kylin 核心团队创立的 Kyligence 公司的使命以自动化数据管理、发现、交互及洞察来为其客户提升生产效率。

Kyligence 获得了来自红点、思科、宽带资本、顺为资本、斯道资本（富达国际自有投资机构）及 Coatue Management 等投资机构的多轮投资，其全球客户包括欧莱雅、Xactly、招商银行及华为等。公司以双总部运营，中国总部位于上海，美国总部位于美国加利福尼亚硅谷圣何塞。

联系我们

网站：https://kyligence.io/

邮件：info@kyligence.io

电话： +86 21-61060928