材料设计二、高性能计算简介 2本次课内容 高性能计算机软件3 高性能计算机Top5005 高性能计算机硬件2 国内高性能计算机介绍6 4 并行计算环境 什么是高性能计算1（一）什么是高性能计算高性能计算(High-performance computing) High-performance computing (HPC) uses supercomputers and computer clusters to solve advanced computation problems. Today, computer systems approaching the teraflops- region are counted as HPC-computers. ---- Wikipedia 1Tflops = 1万亿次浮点运算每秒 1Pflops = 1千万亿次浮点运算每秒高性能计算应用需求气象预报 地震预报 生命科学 军事国防 地球/天体物理 汽车/飞机设计 先进材料设计/能源 网站（网络游戏、B2C、搜索引擎）高性能计算的分类 计算密集型，computing intensive：比如量 子力学计算、气象、石油、制药等 通信密集型，network intensive：比如搜索 引擎、流媒体视频点播等 数据密集型, data intensive：比如图像处理 、高能物理、图书馆、数据挖掘等 一般应用都不是单一的，往往都是几种类型 的结合。LHC (Large Hadron Collider) 是欧洲粒子 物理研究中心(CERN)的一个大型强子对撞机： 2008年LHC投入实验运行，每年将产生约15PB 的数据。LHC实验物理分析需要至少10万个 CPU和海量的数据存储系统. 由于数千个物理学 家分布在世界各地，为了方便高效地进行物理 数据分析研究，LHC采用分级式(Tier)的网格计 算平台，将计算任务分发到世界各地的网格中 心。高性能计算特点 高性能 高稳定性 高安全性 可扩展性 可管理性速度：Linpack测试 LINPACK是一个用Fortran语言编写的线性 代数软件包,主要用于求解线性方程和线性 最小平方问题。该软件包提供了各种线性系 统中的求解方法,比 如各种各样的矩阵运算 。LINPACK的初衷并不是制订一个测试计算 机性能的统一标准,而只是提供一些常 用的 计算方法的实现,但是由于该软件包的广泛 使用,这样就为通过LINPACK例程来比较不同 计算机的性能提供了可能。理论浮点运算 = 每个核主频x每个时 钟周期浮点运算次数x核数 效率 = 实际浮点运算/理论浮点运算（二）高性能计算机硬件高性能计算机体系构架 1. 向量计算机 PVP： 70年代 CRAY系列，银 河1号，NEC地球模拟器 40Tflops 2. 对称多处理机 SMP：双CPU等服务器 3. 分布式共享内存 DSM： NUMA结构 90年代 SGI 4. 大规模并行处理系统(MPP)： 90年代 曙光 1000 5. 集群结构 cluster： 曙光5000系列从编程角度讲，可以将所有的计算机体 系构架分成共享内存的计算机（PVP， SMP，DSM）和分布式内存的计算机（ MPP，Cluster），相应地可以采用不同 的并行编程方法。向量计算机PVP02年运行，600亿日元SMP: Symmetric Multi-Processor SMP结构是指服务器中多个CPU对称工作，无主 次或从属关系。各CPU共享相同的物理内存，每 个CPU访问内存中的任何地址所需时间相同。 它的扩展能力非常有限：每一个共享的环节都可 能造成SMP服务器扩展时的瓶颈。对SMP而言， 最受限制的是内存，每个CPU必须通过相同的内 存总线访问相同的内存资源；随着CPU数量的增 加，内存访问冲突将迅速增加，造成CPU资源的 浪费。NUMA：Non-Uniform Memory Access NUMA构架的基本特征是：具有多个CPU 模块（或称为节点）；每个CPU模块由多 个CPU组成，并且具有独立的本地内存、 I/O槽口等；节点之间通过互连模块进行连 接和信息交互；每个 CPU可以访问整个系 统的内存，但访问本地内存的速度将远远高 于访问远地内存的速度，这也是非一致存储 访问NUMA的由来。利用NUMA技术，可以较好地解决原 来SMP系统的扩展问题，在一个物理 服务器内可以支持上百个CPU。 NUMA技术的主要问题是，由于访问 远地内存的延时远远超过本地内存， 因此当CPU数量增加时，系统性能无 法线性增加。MPP：(Massive Parallel Processing) 和NUMA不同，MPP提供了另外一种进行 系统扩展的方式，它由多个SMP服务器通 过一定的节点互联网络进行连接，协同工作 ，完成相同的任务，从用户的角 度来看是 一个服务器系统。其基本特征如下：由多个SMP服务器（每 个SMP服务器称节点）通过节点互连网络 连接而成，每个节点只访问自己的本地资源 （内 存、存储等），是一种完全无共享结 构；扩展能力最好，理论上其扩展无限制， 目前的技术可实现512个节点互连。 MPP服务器的主要问题是：需要一种复杂 的机制来调度和平衡各个节点的负载和并行 处理过程。集群Cluster构架 集群技术是近年兴起的发展高性能计算机的 一项技术，它是一组相互独立的计算机，利 用高速通讯网络组成一个单一计算机系统， 并且以单一系统的模式加以管理。 出发点是提供高可靠性，可扩充性和抗灾难 性。集群优势是具有很好的公开性、经济性 和扩展性已经成为目前高性能计算的主流构 架。网络构架：网格计算 通过因特网进行资源共享和协 同工作 比如：SETI@home；蛋白质折 叠Folding@home等项目SETI@home 是一项利用全球联网的计算机共同 搜寻地外文明的科学实验计划。志愿者可以通过 运行一个免费程序下载并分析从射电望远镜传来 的数据来加入这个项目。 SETI@home程序在用户的个人计算机上，通常在 屏幕保护模式下或以后台模式运行。它利用的是 多余的处理器资源，不影响用户正常使用计算机 。 SETI@home项目自1999年5月17日开始正式 运行。至2004年5月，累积进行了近5×10E21次 浮点运算，处理了超过13亿个数据单元。截至 2005 年关闭之前，它已经吸引了 543 万用户，这 些用户的电脑累积工作 243 万年，分析了大量积 压数据，但是项目没有发现外星文明的直接证据 。Folding@home是一个研究研究蛋白质折叠，误折， 聚合及由此引起的相关疾病的分布式计算工程。 由斯 坦福大学化学系的潘德小组（Pande Group）主持， 于2000年10月1日正式启动。Folding@home现时是 世界上最大的分布式计算计划，于2007年为吉尼斯世 界纪录所承认。Folding@home专注于精确地模拟蛋 白质折叠和错误折叠的过程，以便能更好地了解多种 疾病的起因和发展，包括阿兹海默症、牛海绵状脑病 （疯牛症）（疯牛病）、癌症和囊胞性纤维症。到目 前为止，Folding@home 已成功模拟5—10微秒的折 叠过程，超出先前估计可模拟的时段数千倍。高性能计算机CPU构架 cpu在设计时就规定了一系列与其他硬件电路相配合的指令系统，是CPU能 直接认识的指令。 复杂指令集CISC, Complex Instruction Set Computer : 奔腾，至强等 精简指令集RISC，Reduced Instruction Set Computing ： IBM Power, SUN Sparc, SGI MIPS， ARM, MIPS；神威等 显式并行指令集（Explicitly Parallel Instruction Computing，EPIC）：intel安腾处理器微处理器是台式计算机系统的基本处理部件 ，每个微处理器的核心是运行指令的电路。 指令由完成任务的多个步骤所组成，把数值 传送进寄存器或进行相加运算。这些指令被 称为微理器的微代码(microcode)，不同制 造商的微处理器有不同的微代码系统，制造 商可按自己的意愿使微代码做得简单或复杂 。指令系统越丰富，微处理器编程就越简单 ，然而，执行速度也相应越慢。复杂指令集计算机(CISC)，长期来，计算机 性能的提高往往是通过增加硬件的复杂性来 获得． 为了软件编程方便和提高程序的运 行速度，硬件工程师采用的办法是不断增加 可实现复杂功能的指令和多种灵活的编址方 式． 一般CISC计算机所含的指令数目至少 300条以上，有的甚至超过500条．另一种优化方法是在20世纪80年代才发展 起来的，其基本思想是尽量简化计算机指令 功能，只保留那些功能简单、能在一个节拍 内执行完成的指令，而把较复杂的功能用一 段子程序来实现，这种计算机系统就被称为 精简指令系统计算机． RISC技术的精华就 是通过简化计算机指令功能，使指令的平均 执行周期减少，从而提高计算机的工作主频 ，同时大量使用通用寄存器来提高子程序执 行的速度。神威蓝光千万亿次超级计算机采用的“申威1600” 型16核64位CPU处理器，是由无锡江南计算技术 研究所研制的第三代处理器，2010年8月完成， 采用Alpha RISC架构，主频1.1G，功耗35-70瓦 ，上海中芯65纳米代工工艺，峰值运算速度达每 秒1408亿次。运算速度高于日本富士通研制的 SPARC64 VIIIfx处理器。高性能计算机网络 以太网：千兆，万兆 Infiniband Myrinet SCI ……随着服务器处理速度的不断加快，用户对提 升网络传输速度的需求也越来越紧迫，传统 意义上的输入 / 输出技术， 如 PCI、以太等 ，已经无法满足这种需求。如何更为有效的 提高数据传输速度，增加有效带宽成为摆在 人们面前必须解决的一个重大问题。 InfiniBand 标准就是在这种情况下应运而生 的，它在很大程度上解决了传统输入 / 输出 架构的传输瓶颈问题 , 运行速度可达到每端 口 2.5Gb/s 、10Gb/s 。InfiniBand 系统网络主要由两个核心部件组 成：主机通道适配器（Host Channel Adapter）和 InfiniBand 交换机。其中， HCA 为主机设备提供一个接口用于支持所 有 InfiniBand 定义的操作，而交换机则用于 将一个端口接收到的 InfiniBand 报文转发到 另一个端口，它支持单播和多播两种机制。Infiniband（三）高性能计算机软件操作系统 Unix: 比如Sun Solaris, IBM AIX, HP- UX, SGI IRIX, SCO UNIX, Mac OS等 Linux: 比如 Redhat, Suse等 Windows: 很少用到SGI IRIXIBM AIXMAC OSRedhat Linux编译器 GNU Fortran C/C++ Intel Fortran C/C++ PGI Netlib.org Intel MKL AMD ACML并行计算 目前主要的并行编程方式有：消息传递模式 （MPI，PVM等），共享内存并行模式（ OpenMP，pthreads）及两种模式同时使用的 混合模式。• 2006 年，在IBM 的蓝色基因（BlueGene/L ）超级计算机上，已经成功的进行了3200 亿个原子的分子动力学模拟。他们最多同时 使用的CPU数目达到131072个。 • 目前，国外超算中心的作业规模非常大，通 常在几千到几万个核心。比如美国橡树林国 家实验室，3万核心以下计算占50%，4-9万 核心的计算占到18%。而据我国的上海超算 中心2009年统计，我国60%的任务在16核 心以下，160核以上的仅占1%。另一方面，我国的大规模并行数值模拟软件 非常落后，几乎都是向国外购买，或者使用 国外的免费开源软件。因此我国的大规模并 行计算在软件方面非常落后，但在硬件方面 已经有很大的改善。一些应用场合应用软件 量化计算：Gaussian, Q-Chem, MOLPRO, GAMESS等 密度泛函理论：VASP, PWSCF等 天气预报：MM5, WRF, Grapes等 分子动力学：LAMMPS, Gromacs, AMBER, NAMD等 ……（四）高性能计算机Top500中国2个，日本2个，美国5个，法国1个2011年11月Top500第一名 在最新的2011年底的Top500排名中，日本富士通 制造的K computer计算机以10.51 pflop/s排在第一位。 它采用了705024个SPARC64处理器核心。K computer 富士通2.0 GHz, 8核 SPARC64处理器 705024核心 1410048 Gb内存 功率12659.89 kW Tofu network interconnect Tofu optimized MPI and openMPI Linux系统2011年11月Top500第二名 在最新的2011年底的Top500排名中，中国天津国 家超算中心的天河1号A以2.566 pflop/s排在第二位。天河一号 “天河一号”的硬件系统由计算阵列、加 速阵列、服务阵列、互连通信子系统、I/O 存储子系统和监控诊断子系统等组成示。计 算阵列有2560个计算节点，每 个计算节点 配置2个Intel四核处理器(Xeon E5540 2.53GHz)和32GB内存；加速阵列有2560个 加速节点，每个加速节点配置2个AMD图形 加速处理器(ATI Radeon HD 4870 575MHz) 和2GB显存；服务阵列有512个服务节点， 每个服务节点配置2个Intel处理器(Xeon E5450 3.0GHz)和32GB内存。显卡GPU可以提供数倍于CPU的计算能力， 以Radeon HD 4870显卡为例，其理论浮点运 算能力就达到了1.2TFlops，是同时期CPU的 的14倍。 “天河一号”系统共有6144个通用处理器 (24576个核心)和5120个图形加速处理器 (GPU)、内存总容量达98TB、峰值速度达 1206 TFlops，Linpack实测性能为 563.1TFlops，而配置双核处理器的普通微 型计算机运算性能只有大约百亿次每秒。天河一号Linpack值563.1Tflops，峰值 1206.2 Tflops，效率46.7%天河1号A X5670 2.93GHz 六核处理器，共186368核心， 7168块Tesla显卡，2048颗国产飞腾八核处理器 。 Linpack最大性能2.566PFlops(每秒千万亿次)，峰 值4.701 PFlops。排名Top500第二。 功率4040kWTop500统计 – 1993-2011年 生产厂商国家构架领域CPU种类CPU种类网络操作系统性能Top500 2011年11月统计 500台机器中，美国占52.6%，中国仅次于美国 ，占14.8%，日本位于第三，占6%。 IBM，HP分别占44.6%和28.2%。 Lunux占91.4%的绝对优势。Windows只有1台。 Cluster构架占82%，MPP占17.8%。 Intel 和AMD的CPU占80%以上。 以太网占44.8%，Infiniband占41.8%02年，cluster 18.6% MPP 40.6% 09年，cluster 83.4% MPP 16.2% 02年，Linux 14.4% Unix 82.6% 09年，Linux 89.2% Unix 5% 02年，Intel IA32 10.2% PA-RISC 22.6% Power 21% Sparc 17.6% 09年，Intel 80.4% ，其中EM64T 79.2% AMD 8.4%，Power 10.4% Sparc 0.4%目前高性能计算机发展趋势 Cluster 构架成为主流 Linux操作系统成为主流 X86 CPU成为主流，主要是intel CPU 多核，GPU，云计算，绿色低能耗(五）国内高性能计算机简介2011年全国HPC计算机排名前十神威蓝光 位于国家超级计算济南中心，采用8704片16核的神威 1600处理器，峰值速度达1100万亿次，持续运行速度 738万亿次。2011年排名国内第2，全球第14。曙光5000A 曙光5000A 高性能计算机采用最新的四核 AMD Barcelona (主频1.9GHz)处理器，采用基 于刀片架构，共有30720颗计算核心， 122.88TB内存，700TB数据存储能力，采用低 延迟 的20Gb的Infiniband网络互联。 售价还不到高效能1亿元人民币。年运营(含空 调系统)耗电约800万度。 Window HPC2008 浮点运算速度峰值为233.47 Tflops, Linpack测试速度180.6Tflops，效率大 于77.4% 。南京大学高性能计算机1.SGI 4700大型机 (共享内存结构) 64个CPU结点, 每个结点含二个双核Itanium2 1.6GHz,18MB Cache CPU和DDR II 533MHz 8GB内存. 总计256个核，512GB内存。 1个I/O结点, 含两个300GB SAS 硬盘，一个 光盘驱动器. 各节点采用NUMA Link 互联，带宽8.5GB/s 1个FPGA 可编程模块. 1个4TB光纤磁盘阵列.SUSE Linux 安装有GNU Fortran, C/C++编译器 Intel Fortran, C/C++编译器 Intel MKL数学库 MPI并行环境 PBS Pro任务管理系统 用户自己安装多种应用程序2. IBM Bladecenter刀片 IBM BladeCenter HS22 cluster 400节点，每个节点含有两颗Intel Xeon 5550 2.66GHz 四核CPU，3200核心。 网络：Infiniband Redhat Linux Intel 编译器和数学库 浮点运算能力约 32 Tflops（32万亿次） 效率92% ! 全国第一。2009年全国排名第7，世界排名203！ 2011年排名全国70！