分布式与并行计算报告.doc
免费下载
1
并行计算技术及其应用简介
并行计算技术及其应用简介
XX
（
XXX
，
XX
，
XXX
）
摘 要： 并行计算是实现高性能计算的主要技术手段。在本文中从并行计算的发展历程开始介绍，总
结了并行计算在发展过程中所面临的问题以及其发展历程中出现的重要技术。通过分析在当前比较常用的实
现并行计算的框架和技术，来对并行计算的现状进行阐述。常用的并行架构分为
SMP
（多处理系统）、
NUMA
（ 非 统 一 内 存 存 储 ） 、
MPP
（ 巨 型 并 行 处 理 ） 以 及 集 群 。 涉 及 并 行 计 算 的 编 程 模 型 有
MPI
、
PVM
、
OpenMP
、
TBB
及
Cilk++
等。并结合当前研究比较多的云计算和大数据来探讨并行计算的应用。
最后通过
MPI
编程模型，进行了并行编程的简单实验。
关键词： 并行计算；框架；编写模型；应用；实验
A Succinct Survey about Parallel Computing Technology and It’s
Application
Abstract: Parallel computing is the main technology to implement high performance computing. This paper starts
from the history of the development of Parallel Computing. It summarizes the problems faced in the development of
parallel computing and the important technologies in the course of its development. Through the analysis of
framework and technology commonly used in parallel computing currently,to explain the current situation of parallel
computing.Framework commonly used in parallel are SMP(multi processing system),NUMA(non uniform memory
storage),MPP(massively parallel processing) and cluster.The programming models of parallel computing are MPI,
PVM, OpenMP, TBB and Cilk++, etc.Explored the application of parallel computing combined with cloud computing
and big data which are very popular in current research.Finally ,through the MPI programming model,a simple
experiment of parallel programming is carried out.
Key words: parallel computing; framework; programming model; application; experiment
1
引言
近年来多核处理器的快速发展，使得当前软件技术面临巨大的挑战。单纯的提高单机性能，已经不能满
足软件发展的需求，特别是在处理一些大的计算问题上，单机性能越发显得不足。在最近
AlphaGo
与李世石
的围棋大战中，
AlphaGo
就使用了分布式并行计算技术，才能获得强大的搜索计算能力。并行计算正是在这
种背景下，应运而生。并行计算或称平行计算时相对于串行计算来说的。它是一种一次可执行多个指令的算
法，目的是提高计算速度，及通过扩大问题求解规模，解决大型而复杂的计算问题。可分为时间上的并行和
空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。其
中空间上的并行，也是本文主要的关注点。
并行计算（
Parallel Computing
）是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计
算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题
分解成若干个部分，各部分均由一个独立的处理机来并行计算。并行计算系统既可以是专门设计的，含有多
个处理器的超级计算机，也可以是以某种方式互联的若干台的独立计算机构成的集群。通过并行计算集群完
成数据的处理，再将处理的结果返回给用户。
目前常用的并行计算技术中，有调用系统函数启动多线程以及利用多种并行编程语言开发并行程序，常
用的并行模型有
MPI
、
PVM
、
OpenMP
、
TBB
、
Cilk++
等。利用这些并行技术可以充分利用多核资源适应目
前快速发展的社会需求。并行技术不仅要提高并行效率，也要在一定程度上减轻软件开发人员负担，如近年
来的
TBB
、
Cilk++
并行模型就在一定程度上减少了开发难度，提高了开发效率，使得并行软件开发人员把更
多精力专注于如何提高算法本身效率，而非把时间和精力放在如何去并行一个算法。
文献
[1]
回顾了并行计算技术六十多年的发展历史，并分析了其发展的未来趋势和所面临的可拓展性“墙”。
文献
[2]
对大规模
MPI
计算中，当前常用的容错机制和多模冗余带来的开销进行了分析，提出了一种可拓展
分布式与并行计算课程设计报告
2
并行计算技术及其应用简介
三模冗余容错机制。文献
[3]
则阐述了并行计算和云计算之间的关系，并介绍了并行计算在云计算中运用的一
些指导原则。文献
[4]
分析了在大数据时代，并行计算面临的挑战和基于，综述了面向批处理、面向流处理、
面向图数据以及面向内存等几类并行计算模型的相关研究。文献
[5]
对并行计算模型进行了概述，介绍了理想
计算模型的特征，讨论了一些典型的计算模型，综述了目前并行计算模型在异构计算环境的发展情况。文献
[6]
针对传统单一的并行计算模型变得越来越复杂，对并行计算个阶段针对性不强，提出了一种分层并行计算
模型的思想。文献
[7]
针对在专业集群中进行并行计算的处理，存在费用高、管理困难和操作复杂等问题，利
用
PC
和以太网相连的实验环境，采用集群工作框架和并行计算的关键技术，提出基于
Linux
集群的并行计
算系统环境，并在该环境上对系统性能进行了测试。文献
[8]
在
CPU/GPU
协同并行计算这一新兴领域，对当
前的研究工作进行了综述。根据所用计算资源的规模将
CPU/GPU
协同并行计算研究划分为三类，尔后从立
项依据、研究内容和研究方法等方面重点介绍了几个混合计算项目，并指出了可进一步研究的方向，以期为
领域科学家进行协同并行计算研究提供一定参考。文献
[9]
中对图形处理器中的相关问题进行研究。提出了
统
一计算架构（
CUDA
）为实现
GPU
通用计算提供了高效、简便的方法．因此，建立了基于
GPU
通用
计算平台的中心差分格式的显式有限元并行计算方法．该方法针对
GPU
计算的特点，对串行算法的流
程进行了优化和调整，通过采用线程与单元或节点的一一映射策略，实现了迭代过程的完全并行化。
2
并行计算发展的三个重要阶段
并行计算是实现超高计算性能的主要技术手段，回顾其发展的历史进程，可以看出并行计算的发展从整
体上跨越了三个阶段。
2
．
1 Amdahl
公式与适度并行
早在二十世纪四十年代中后期，现代电子计算机的鼻祖冯·诺依曼就提出了用并行计算提高计算机性能
的技术途径。所谓并行计算，就是采用多个运算部件或多台计算机共同开展计算任务。理论上，并行多少台
计算机就可以获得多少倍的运算速度，但实际加速能力往往和应用特征密切相关。 1967 年，Amdahl 提出了
著名的计算性能加速比公式（也称 Amdahl 定律）：
)1(1
nf
n
T
T
S
n
s
A
（1）
公式（1）中的
s
T
表示应用的串行版本程序的执行时间，f 表示应用中不能被并行化部分的工作量占整
个程序工作量的比率，n 表示并行系统的处理器数目。
n
T
表示应用的并行版本程序和 n 个处理器上的执行
时间。这些概念和理论方面的基础研究极大地推动了适度并行计算技术的实用化。
2
．
2 Gustafson
公式与大规模并行
80 年代后期学术界展开了一次很大的讨论，大家对并行是否有前途众说纷坛，问题的焦点是-------能不
能通过并行规模增大来持续提高计算机性能。
1988 年，美国科学家 Gustafson 在大量实际物理问题并行计算过程中总结了一个著名公式，发表在
《Communication of ACM》上。这篇论文只有两页，但它揭示了一个规律，即 Gustafson 通过他的应用实践
发现，很多程序随着应用规模的扩大，程序中不能被并行化部分工作量的绝对量基本保持不变。而不能被并
行化部分工作量占总工作量的相对比例 f 会相应减小。基于这个规律，他提出了著名的 Gustafson 加速比公式：
)1( fnf
T
T
S
n
s
G
（2）
从公式可以得出，当 f 随着计算规模扩大而不断缩小时，处理器数如果增多，一个程序的加速比还是可
以随着处理器的增多而提升的。这个公式不是一个精细的性能评估公式，而是一个思想性的公式，它揭示了
大规模并行的要旨：并行计算机的实际性能和它所运行的并行程序特征密切相关。在大规模并行计算机上要
取得高实用计算性能，在其上运行的并行程序必须具有串行计算负载保持不变，并行计算负载随着计算机规
模的扩大而扩大的特点，这样的程序通常成为可扩展并行程序。在提高大规模并行计算使用效率的过程中，
能否设计出可扩展并行算法和可扩展并行程序，与大规模并行计算机系统的研制同等重要。
2
．
3
效能评价模型与高效能并行
分布式与并行计算课程设计报告
3
并行计算技术及其应用简介
高性能计算机应该向什么方向发展，
2002
年美国国防部（
DARPA
）提出的“高效能计算系统（
HPCS
）”
计划，着眼于高性能向高效能的转变，认为高效能计算机系统不仅要关注很高的计算性能，还要关注系统的
实用性能、可编程性、可移植性、系统鲁棒性和经济可行性。于是基于经济学中产生率的概念和效用理论逐
渐取代了以往单一的计算性能评价模型。效能模型框架如下：
),,(
),(
),,,(
TMPC
TPU
UTMP
（
3
）
其中，
T
为问题
P
解决的时间（
Time-to-solution
），
M
是并行计算机系统，
U
为效用函数，
C
为在系统
M
上
T
时间内解决问题
P
所投入的最小成本函数。该效能度量模型综合考虑了并行系统开发（
Development
）
和运行（
Execution
）两种状态，将开发的时间和系统运行的时间统一到问题解决时间
T
中。虽然，围绕这一
公式标志着高性能计算机学术界、产业界对大规模并行计算机发展趋势产生了新的认识。
3 并行编程模型
并 行 编 程 可 以 调 用 系 统 函 数 启 动 多 线 程 ， 也 可 以 利 用 并 行 编 程 模 型 ， 如 常 用 的 并 行 模 型 有
MPI
、
PVM
、
OpenMP
、
TBB
及
Cilk++
等。
3.1 MPI
简介
MPI
（
Message Passing Interface
）是基于消息传递的并行编程模型。消息传递指的是并行执行的各
个进程具有自己独立的堆栈和代码段，作为互补相关的多个程序独立执行，进程之间的通信通过显式地调用
通信函数来完成。
（
1
）
MPI
程序基本函数
① MPI_Init 用 来 初 始 化 MPI 执 行 环 境 ， 建 立 多 个 MPI 进 程 之 间 的 联 系 ， 为 后 续 通 信 做 准 备 。
MPI_Finalize 则是结束 MPI 执行环境。这两个函数之间定义 MPI 程序的并行区域。
② MPI_Comm_rank 来表示各个 MPI 进程。
③ MPI_Comn_size 用来表示进程组中有多少个进程，返回整型的错误值，同时有两个函数参数 ，
MPI_Comn 类型的通信域，标识参与计算的 MPI 进程组，如 MPI_COMM_WORLD;整数指标，返回相应进
程组中的进程数。
（2）MPI 性能分析与优化举例
MPI 消息传递开销由两部分组成：一部分是通信固有的延迟；另一部分是消息传递开销，与消息的数据
量和网络带宽有关。时间消耗可以用下面的式子表示：
serialcommTotal
TTT
（4）
其中，
Total
T
、
comm
T
、
serial
T
分别表示程序总用时、通信用时和串行部分用时。而通信用时一般
可作如下分解：
m
i
Ci
n
i
iscomm
i
TTwBntT
11
/
（5）
其中，n 为点对点通信次数，m 为集群通信次数，
s
t
为通信固定延迟，
i
B
为第 i 次通信的容量，w
为网络带环，
i
T
为负载不平衡造成的时间消耗，
i
C
T
集群通信耗时。
（3）解决负载均衡问题
在并行计算中，若各个处理器上的执行时间不同，因同步会使先完成的处理器等待未完成的处理器，此时
应该考虑负载均衡问题，是的资源得到合理利用。负载均衡分为：静态负载均衡及动态负载均衡。静态负载
均衡使用与计算前可以准确估算总的负载，且这些负载容易平均划分给各个进程的情况。对于实现不知道负
载总数，或者总负载不易平均划分的情况，需要动态负载均衡策略来解决。
3.2 PVM
简介
PVM
是一个在网络上的虚拟并行机系统的软件包，它允许将网络上基于
UNIX
操作系统的并行机和单处
理机的集合当成一台单一的并行虚拟机来使用。
PVM
支持用户采用消息传递方式编写并行程序。计算以任
务为单位，一个任务就是一个
UNIX
进程，每个任务都有一个
taskid
来标识（不同于进程号）。
分布式与并行计算课程设计报告
of 8
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
1
2
9-数据库人的进阶之路：从PG分区、SQL优化到拥抱AI未来（罗敏）.pptx
3
1-PG版本兼容性案例（彭冲）.pptx
4
2-TDSQL PG在复杂查询场景中的挑战与实践-opensource.pdf
5
6-PostgreSQL 哈希索引原理浅析（文一）.pdf
6
3-AI时代的变革者-面向机器的接口语言(MOQL)_吕海波.pptx
7
8-基于PG向量和RAG技术的开源知识库问答系统MaxKB.pptx
8
4-IvorySQL V4：双解析器架构下的兼容性创新实践.pptx
9
7-拉起PG好伙伴DifySupaOdoo.pdf
10
《云原生安全攻防启示录》李帅臻.pdf
相关文档
评论