当前位置:首页 >> 信息与通信 >>

DSM系统


高性能并行计算机简介
yuanzhen@dawning.com.cn 2010-06

目录
? 1.1 并行计算机基础知识 ? 1.2 并行计算机系统架构 ? 1.3 机群系统 ? 1.4 高性能计算发展趋势

什么是高性能并行计算机 由多个计算单元组成,运算速度快、存储容量 大、可靠性高的计算机系统。

也称为:巨型计算机、超 级计算机 目前任何高性能计算和超 级计算都离不开使用并行 技术,所以高性能计算机 肯定是并行计算机。

其发展历程可以简单的分为两个时代
专用时代
包括向量机,MPP系统,SGI NUMA 系统,SUN大型SMP系统,也包括我国的神威,银 河,曙光1000等。 之所以称为“专用”,并不是说它们只能运行某种应用,是指它们的组成部件是专门设计 的,它们的CPU板,内存板,I/O板,甚至操作系统,都是不能在其它系统中使用的。由 于技术上桌面系统与高端系统的巨大差异,和用户群窄小。

普及时代
高性能计算机价格下降,应用门槛降低,应用开始普及。两个技术趋势起到重要作用。 商品化趋势使得大量生产的商品部件接近了高性能计算机专有部件 标准化趋势使得这些部件之间能够集成一个系统中,其中X86处理器、以太网、内存部件、 Linux都起到决定性作用。 机群系统是高性能计算机的一种,它的技术基础和工业基础都是商品化和标准化。

曙光1000 曙光
曙光1000有36个结点机; 峰值计算速度为浮点25.6亿次/秒,实际达 到15.8 亿次/秒; 内存容量为1024兆字节; 基于Wormhole机制的二维Mesh通讯网, 结点与网络通讯总带宽为2.88GB/秒; 采用基于UNIX的并行操作系统和并行文件 系统;

并行计算机-CRAY 并行计算机
System Name System Family Jaguar 1059000 GFlops Cray XT

Operating System CNL Interconnect Processor XT4 Internal Interconnect AMD Opteron Quad Core 2300 MHz (9.2 GFlops)

并行计算机-IBM 并行计算机
System Name System Family Roadrunner IBM Cluster 1105000 GFlops

Operating System Linux Interconnect Processor Infiniband PowerXCell 8i 3200 MHz (12.8 GFlops)

并行计算机-DAWNING 并行计算机
System Name System Family Dawning 5000A 180600 GFlops Dawning Cluster

Operating System Windows HPC server 2008 and SUSE Interconnect Processor Infiniband DDR AMD Opteron Quad Core 1900 MHz (7.6 GFlops)

并行计算机所用的处理器
? ? ? ? ? ? ? ? ? ? AMD Opteron Xeon Nocona Intel Itanium Compaq Alpha HP PA-RISC Sun UltraSPARC IBM POWER5+,POWER6 IBM BlueGene processor MIPS R10000 龙芯

最新TOP500cpu分布

并行机处理器-AMD 并行机处理器
PERFORMANCE 4-WAY AND 8-WAY

AMD Opteron? 800 Series & 8000 Series Processors – Designed for 4-way and 8-way Server solutions – First native x86 dual-core solution for 4-way / 8-way computing

PERFORMANCE 2-WAY

AMD Opteron? 200 Series & 2000 Series Processors – Designed for 2-way Server / Workstation solutions – First native x86 dual-core solution for 2-way computing

PERFORMANCE 1-WAY

AMD Opteron? 100 Series & 1000 Series Processors – Designed for 1-way Server / Workstation solutions – First native x86 dual-core solution for 1-way computing

AMD Opteron? Processors for Servers and Workstations

并行机处理器-Intel 并行机处理器
RISC 与大型机 RISC 与大型机 现代化 现代化

双核英特尔? 安腾? 处理器 9000
大型机级服务器,具有顶级的灵活性和可靠性

数据要求苛刻

双核英特尔? 至强? 7000 系列处理器
最大限度提高性能、可靠性和可扩展性

高密度 基础设施

四核英特尔? 至强? 5000 系列处理器
利用四核处理最大限度提高性能密度

基本 计算

四核英特尔? 至强? 3000 系列处理器
经济、可靠的单路服务器

并行机处理器-龙芯 并行机处理器 龙芯
Godson意思为“教子”,相对于此的另一个词叫教父(Godfather)

并行计算机专用连接网络

? NumaLink- (SGI) ? SP Switch,SP Switch2- (IBM) ? Cray Interconnect- (Cray)

并行计算机商品化网络
? 互联方式的选择
– 千兆以太网,带宽小(理论值125MB/s),延迟大 35--45 ?s ; – Infiniband;MPI乒乓测试带宽:850 MB/s,MPI 短消息延迟:< 7 ?s ; – Myrinet:MPI乒乓测试带宽:230 MB/s,MPI短 消息延迟:7 ?s ; – Qsnet:MPI乒乓测试带宽:300 MB/s ,MPI短 消息延迟:5 ?s; – SCI:MPI乒乓测试带宽:320 MB/s ;MPI短消息 延迟:1 - 2 ?s ;

最新TOP500网络分布

趋势

商品化网络-Infiniband 商品化网络

InfiniBand代表的就是性能和互操作性。 如果你看一看超级计算机500强的话就 会发现,InfiniBand技术已经从2005 年的30席增长到了今天的142席,增长 率超过了25%。而且,采用专有互连 技术的超级计算机正在不断减少。

商品化网络-以太网络 商品化网络 以太网络

I/O性能瓶颈 性能瓶颈
? 高性能网络如InfiniBand的性能进步,使得PCI总线成为限制 性能的瓶颈,PCI-X过渡为PCI-E,基本解决了这一问题; ? 基于共享总线结构的PCI架构具有局限性,需要面向高端的 I/O方案:InfiniBand,Infiniband可能会彻底取代PCI局部总 线结构,要实现这个取代,其前提是InfiniBand逻辑电路集 成到芯片一级,也就是将南桥换成带有HCA (Host Channel Adapters)的I/O桥接器件; ? 分布式存储多处理器系统,程序和数据一般都是集中存放, 各进程执行时需要传输程序和应用数据到处理器本地内存; ? NFS文件系统在数据传输上,类似于C/S结构,各个计算节 点都从I/O节点传输数据,链路单一,性能瓶颈;

存储系统-共享存储 存储系统 共享存储

1、FC 4GB光纤链路 2、4Gb磁盘FC接口 3、并行I/O文件系统 4、最大支持224块物理磁盘 5、支持1024LUN 6、IOPS=280000

Linpack
Linpack现在在国际上已经成为最流行的用于测试高性能计算机系统浮点性能的 benchmark。通过利用高性能计算机,用高斯消元法求解一元N次稠密线性代 数方程组的测试,评价高性能计算机的浮点性能。 Linpack测试包括三类,Linpack100、Linpack1000和HPL。 Linpack100求解规模为100阶的稠密线性代数方程组,它只允许采用编译优化选 项进行优化,不得更改代码,甚至代码中的注释也不得修改。 Linpack1000要求求解规模为1000阶的线性代数方程组,达到指定的精度要求, 可以在不改变计算量的前提下做算法和代码上做优化。 HPL即High Performance Linpack,也叫高度并行计算基准测试,它对数组大 小N没有限制,求解问题的规模可以改变,除基本算法(计算量)不可改变外, 可以采用其它任何优化方法。 理论浮点峰值=CPU主频×CPU每个时钟周期执行浮点运算的次数×系统中CPU 数目 ,实测浮点峰值是指Linpack测试值,也就是说在这台机器上运行Linpack 测试程序,通过各种调优方法得到的最优的测试结果。

HPL测试中的主要参数 测试中的主要参数
? Rpeak:系统的理论峰值性能,按GFLOPS表示 ? Nmax: 给出达到最高GFLOPS值时的问题规模(矩阵规模) ? Rmax: 在Nmax问题规模下,达到的最大峰值 ? NB: 矩阵分块大小,与高速缓存大小相关。一般在32到 256之间

中国高性能计算机TOP100排行榜 排行榜 中国高性能计算机

刀片产品占据绝对优势,渐成主流 采用开放系统已成为高性能计算的发展趋势

目录
? 1.1 并行计算机基础知识 ? 1.2 并行计算机系统架构 ? 1.3 机群系统 ? 1.4 高性能计算发展趋势

1.2.1 实现并行的手段

指令级并行
? 从CPU内部挖掘并行性
提高主频,增加核心数量 提高IPC(每个时钟周期完成的指令数目)

? 提高CPU主频和增加核心 双核、多核处理器 ? 指令级并行导致处理器内的功能部件增多,系统复杂,导 致晶体管数目增加,功耗和发热带来问题,且会受到物理 极限的天花板作用

多处理器(多计算机) 多处理器(多计算机)并行

? 多处理器并行主要得益于微处理器的发展; ? 多处理器并行是构造强大系统的必由之路; ? 多处理器指在同一块主板上通过主板总线实现并行。 ? 多计算机并行,指在多台计算节点上通过网络实现并行。

向量计算 ? 向量处理器,采用向量流水部件,特别 适合向量运算; ? 曾经风靡一时; ? 设计困难,成本高,应用领域狭窄,向 量技术被其他新兴的技术所掩盖; ? 地球模拟器的影响给向量处理技术带来 了新的一丝希望。

1.2.2 并行计算机系统架构

对称多处理机系统(SMP) 对称多处理机系统
?SMP
– 对称式共享存储:任意处理器可直接访 问任意内存地址,且访问延迟、带宽、 机率都是等价的; 系统是对称的; – 微处理器: 一般少于64个; – 处理器不能太多, 总线和交叉开关的 一旦作成难于扩展; – 例子: IBM R50, SGI Power Challenge, SUN Enterprise,

分布式共享存储系统(DSM) 分布式共享存储系统
?DSM
– 分布共享存储: 内存模块物理上局部于各个 处理器内部,但逻辑上(用户)是共享存储的; 这种结构也称为基于Cache目录的非一致内 存访问(CC-NUMA)结构;局部与远程内存访 问的延迟和带宽不一致,3-10倍 高性能并 行程序设计注意; – 与SMP的主要区别:DSM在物理上有分布 在各个节点的局部内存从而形成一个共享的 存储器; – 微处理器: 16-128个; – 代表: SGI Origin 2000, Cray T3D;

大规模并行计算机系统(MPP) 大规模并行计算机系统
?MPP
– 物理和逻辑上均是分布内存 – 能扩展至成百上千个处理器(微处理器 或向量处理器) – 采用高通信带宽和低延迟的互联网络 (专门设计和定制的) – 一种异步的MIMD机器;程序系由多 个进程组成,每个都有其私有地址空 间,进程间采用传递消息相互作用; – 代表:CRAY T3E(2048), ASCI Red(3072), IBM SP2

机群系统(Cluster) 机群系统
?Cluster
– 每个节点都是一个完整的计算机 – 各个节点通过高性能网络相互连接 – 网络接口和I/O总线松耦合连接 – 每个节点有完整的操作系统 – 曙光2000、 3000、4000, ASCI Blue Mountain

目录
? 1.1 并行计算机基础知识 ? 1.2 并行计算机系统架构 ? 1.3 机群系统 ? 1.4 高性能计算发展趋势

什么是机群系统
? 机群系统(Cluster)
利用标准网络将一台台普通服务器或者PC机连接起来,为使用者提供更高的 计算能力和存储能力并为使用者提供单一系统映象的系统。

? 单一系统映象
使用者在使用机群系统的时候感觉上就象使用一个单独的计算机系统一样。 单一系统映象实现方法:硬件层、操作系统层、软件层

机群系统的优势
? 极高的性价比 ? 大型机的主流 ? 良好的可扩展性 ? 更高的可管理性 ? 更低的使用维护成本 ? 更好的可使用性 ? 更好的系统鲁棒性 ? 更多的应用支持

机群使用越来越广泛 应用领域越来越多

机群系统的应用领域

信息服务

基因信息

气象预报

汽车制造

生物物理

石油勘探

数学

船舶制造

2010高性能计算机架构分布 高性能计算机架构分布

机群系统的应用分类

高性能计算机群
? 应用于高性能计算领域; ? 整合多个计算单元的并行计算性能; ? 注重整体性能的发挥; ? 目前成为高性能计算机的主体架构;

高性能计算机群系统架构

节点机- 节点机-采用曙光天阔系列机架式服务器
? ? ? ? 计算节点 IO节点 节点 管理节点 登入节点
... … …

? I系列和 系统 系列和A系统 系列和
– I系统采用Intel Xeon处理器 – A系列采用AMD Opteron处理器

? 2路、4路、8路、16路产品 路 路 路 路产品 ? 1U、2U、5U、12U 、 、 、
... … …

如何选择节点机?

网络和存储
? 网络
– 计算网 – 管理网 – 数据传输网 – 百兆以太网 – 千兆以太网 – Myrinet – Infiniband

如 何 选 择 ?

? 存储
– 存储产品 – 存储结构 – 文件系统

– SCSI – SATA – FC – SAS

– DAS – NAS – SAN – IPSAN

– NFS – DCFS2 – Lustre

高性能机群层次架构
应用层 机群操作系统层(DCOS) 系统软件层(OS, 编译器) 硬件层(节点, 网络等)

高性能机群的硬件构成
机柜(含供电电源); 节点机(计算节点,登陆节点, I/O节点,监控节点); 互连网络,每种网络连接机群的全部或部分节点: 管理网(百兆以太网); 数据网(千兆以太网); 计算网(Infiniband等); 监控网(监控系统网络); KVM网(SKVM系统); 存储网(SAN存储网络); 存储系统:盘阵或SAN存储;

高性能机群软件系统
石油领域:Geoeast、paradigm、cgg、omega、VSS 物理化学:VASP、Gaussian 材料化学:Materials Studio 环保领域:MM5、Grapes、WRF 结构力学:ABAQUS、NASTRAN 性能评估:LINPACK、HPCC、NPB等等 流体力学:fluent、CFX、Star_CD 分子动力学:NAMD、GROWMACS、AMBER 生物计算:BLAST、FASTA、MEME 并行文件系统和数据库:DCFS2、PVFS2、Lustre、Oracle RAC 机群管理和监控系统:DCOS、DCMMII、Rocks、OSCAR

曙光机群操作系统(DCOS) 曙光机群操作系统
? ? ? ? 曙光机群管理系统(DCMS) 曙光机群管理系统 曙光机群监控系统(DCMM) 曙光机群监控系统 曙光机群部署系统(DCIS) 曙光机群部署系统 曙光并行命令系统(MTerm) 曙光并行命令系统

曙光机群并行文件系统
DCFS2( Serving/System) DCFS2(Dawning Cluster File Serving/System)是曙光公司自主研发的第二 代并行文件系统

? 全局文件系统,提供单一系统 映象 ? 与节点上的本地文件系统完全 兼容 ? 支持大规模机群系统 ? 能够提供很高的元数据处理性 能 ? 可靠性好,具有快速故障恢复 功能

客户节点

C

C

C

C ?????? C

C

C

元数据服 务器节点

M

Network (Gb Ethernet, Myrinet, …)

M M SSM

网络存储设备

CSA
??????

并行环境、开发环境、 并行环境、开发环境、高性能数学库
? 并行环境
– 消息传递:MPI、PVM – 共享存储:OpenMP

? 高性能数学库
– ACML – APL – MKL – IPP – 其他专业数学库

? 开放环境
– 编译器 – 调试器 – 性能分析器

目录
? 1.1 并行计算机基础知识 ? 1.2 并行计算机系统架构 ? 1.3 机群系统 ? 1.4 高性能计算发展趋势

低功耗设计和管理技术越来越重要
? 基于Linpack对Top500和典型 高性能计算机的发展趋势进行 外推,在2015-2018年左右, 高性能计算机的功耗将高达5080MW; ? 为减少系统功耗,降低系统运 行能耗,提高系统在单位能耗 下的性能,高性能计算机必须 在器件级低功耗设计技术、软 件低功耗管理技术、低功耗供 电技术和高效冷却技术等方面 综合考虑和优化; ? CPU节能 ? 能耗管理软件 ? 水冷方案

如何保证大规模并行计算结果的可靠性?
? 如何保证算法的正确性 – 算法校验 ? 要求算法本身具有可校验性,即算法输出与输入存在确定的关系 如何保证硬件和软件(支撑环境)的正确性 – 硬件校验 ? TMR投票、CRC、ECC等校验手段与校错措施 ? 存储器清洗技术和存储器冗余(RAID)技术 ? 网络部分的链路自愈技术和自适应路由技术等 – 系统级 ? 主动容错(基于虚拟机技术) ? 消息重传机制 ? 系统级检查点机制 – 用户级 ? 容错模型及容错语言 ? 用户检查点checkpoint ? 软件复制 ? N-version编程

?

精细资源管理是未来高性能计算机的必然选择
精细资源管理提高资源利用率
? 重要技术之一:虚拟机技术,采用虚拟化技术可以将数据中心的利用 率提高至60-75%,约是粗粒度资源管理的4x ? 资源利用率与应用程序性能之间的折中如何保证?

精细资源管理提高可用性
? 通过虚拟机技术实现对高性能计算机精细调度,减小了故障发生时的 隔离区间的大小,有利于提升系统的可用性

需要更为深入研究其他精细资源管理技术

高密度计算成为主要发展趋势,处理器是高性能计 算机体系结构的研究重点,非平衡体系结构出现
处理器性能迅速增长
– 随着半导体工艺的进步 ,单位面积上可以集成 的晶体管数目迅速增加 ,相对于2010年45nm 工艺,2018年的18nm 工艺下,处理器核的面 积将以6到8的因子缩减 ,从而支持在同一个硅 片上集成6到8倍同等复 杂的核 – 众核 – 3D集成 – 光互连 – 专用加速器等技术

DARPA, ExaScale Computing Report,Sep. 28,2008

谢谢各位!


相关文章:
DSM桌面管理系统
DSM 桌面管理系统盈高多维终端安全管理平台概述 盈高多维终端安全管理平台(英文名 Infogo Multi-Security Endpoint Platform,简称 MSEP) ,由资产安全、应用安全、补丁...
DSM-5分类
除此之外, DSM-5尝试使用光谱系统(Spectrum), 疾患将不再只是“类别分类”。 Preface Section I: DSM-5 Basics 前言 第一节:DSM-5基础 介绍 Introduction 手册...
分布式共享存储系统分类
所以根据可以将 DSM系统分为三类:硬件DSM系统、软件DSM系统、软硬件结合DSM系统[2][11]。 4.1 硬件DSM系统硬件DSM系统能确保本地主存和处理器caches共享数据的自动...
DSM-IV诊断标准
DSM-IV诊断标准_临床医学_医药卫生_专业资料。关于 DSM-IV 的介绍 美国精神病学会 (APA) 从 1952 年起制订 《诊断与统计手册: 精神障碍》 (Diagnostic and Sta...
NAS群晖DSM 5.0-4458 傻瓜安装教程_图文
NAS群晖DSM 5.0-4458 傻瓜安装教程_计算机软件及应用_IT/计算机_专业资料。NAS ...由于我是数据无损升级,所以先看看系统信息,各位新安装朋友可以忽略 这里是 真实 ...
变态心理学——DSM-Ⅳ多轴评估
变态心理学——DSM-Ⅳ多轴评估_教育学/心理学_人文社科_专业资料。多 轴评估 多轴系统是在几个轴上评估, 每轴涉及不同方面的信息, 这些信息可以帮助临床医师作...
浅谈DMS与DSM
图 1 DMS 与 DSMDSM 的有关措施在 DMS 中的体现 配电网络是电力公司与用户之间的桥梁。DMS 的开放性及其横纵向系统的 集成,使得 DSM 与 DMS 之间必须...
DSM说明书
1 1 2 3 7 8 12 14 14 16 17 17 18 18 19 20 25 北京美兰尼尔电子技术有限公司 书 DSM-1A 数字变电站管理系统使用说明 一 概述 DSM-1A 数字变电站...
DSM客户端操作手册
? 在不能连接 DSM 服务器的情况下,双击该安全文档。弹出“文档安全管理系统登 录”的对话框。 ? ? 选择离线打开安全文档的认证方式,并输入对应的账号和密码。 ...
DSM-IV美国的精神障碍分类系统(又称为精神障碍诊断与统...
DSM-IV美国的精神障碍分类系统(又称为精神障碍诊断与统计手册)_临床医学_医药卫生_专业资料。一、 美国精神障碍分类系统 DSM-Ⅳ 美国的精神障碍分类系统称为精神...
更多相关标签:
dsm | dsm操作系统 | 群晖dsm系统 | dsm系统是什么 | dsm系统下载 | 电视猫 | 群晖 | dms系统 |