总架能力研发团队.docx
5墨值下载
总架能力研发团队
01
背景介绍
任何领域都面临着规模效应的制约，即量变产生质变。在计算机领域，系统体系越庞大 ，
内部间通信、存储、调用以及与外部交互过程的复杂程度越高，导致可维护性变差和系统
性能不足。云原生有利于各组织在公有云、私有云和混合云等新型动态环境中，构建和运
行可扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声
明式
。这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的
自动化手段，云原生技术使工程师能够轻松地对系统作出频繁和可预测的重大变更。
传统大数据系统
等绝大部分大数据组件发展于云原生和云
计算成熟之前，所以这些组件必须自己做协同、存储、备份、日志，来处理资源与集群管
理。传统的大数据架构方案，它不会动态伸缩，或提供细粒度的弹性，或提供快速构建和
部署，或与平台上的其他应用程序保持操作一致性。因此，我们做大数据云原生，也绝非
是把原先在传统
架构上的东西容器化之后就搬上去，而是基于云的一种全新
理念，
必须是与之相关的包括应用的架构、应用的开发方式、应用的部署和维护方式都要做出改
变，这样才能真正发挥出云的价值，包括弹性、动态调度、自动伸缩、日志监控等，享受
新
技术带来的红利。
02
Hadoop\Spark\Flink
架构概述
Hadoop
架构概述
目前
已发展到
版本，主要包含以下模块：
：支持其他
模块的常用实用程序。
分布式文件系统
一种分布式文件系统，可提供对应用程序数
据的高吞吐量访问。
!
作业调度和集群资源管理的框架。
" #$
一种基于
!
的大型数据集并行处理系统。
集群架构可以简单分为两个部分（
、
!
），下面用图来简单表示：
Spark
架构概述
大数据的发展使得资源管理模块作为其中最通用的模块逐渐与框架结构，独立成通用的
组件。目前，大部分分布式计算框架都支持接入多款不同的资源管理器。资源管理器辅助
集群资源的管理和调度，为计算分配资源容器并保证资源隔离。
$%
作为通用
分布式计算平台，目前同时支持多款资源管理器，包括：
!
"&&
'#()&
)
（自带的资源管理器）
$%
的运行时框架如下图所示，其与各类资源调度器的交互流程比较类
似：
Flink
架构概述
$%
是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状
态的计算。
能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。
其架构图如下：
of 10
5墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
相关文档
评论