高性能计算

当前位置:首 页 >> 系统集成 >> 高性能计算

高性能计算(HPC) 指通常使用很多处理器(作为单个机器的一部分)或者某一集群中组织的几台计算机(作为单个计 算资源操作)的计算系统和环境。有许多类型的HPC 系统,其范围从标准计算机的大型集群,到高度专用的硬件。大多数基于集群的HPC系统使用高性能网络互连,比如那些来自 InfiniBand 或 Myrinet 的网络互连。基本的网络拓扑和组织可以使用一个简单的总线拓扑,在性能很高的环境中,网状网络系统在主机之间提供较短的潜伏期,所以可改善总体网络性能和传输速率。
高性能计算是能够突破性能极限的计算;单个高端工作站不能满足其需求的计算;需要通过专门的程序优化最大限度提高系统的I/O、计算和数据传送性能的计算。
人们一直以来还有这样一个认识误区,认为高性能计算机是面向高新产业和服务业的,而传统产业(尤其是制造业)并不需要使用。事实上,高性能计算机能够广泛应用于生物、信息、电子商务、金融、保险等产业,它同时也是传统产业(包括制造业)实现技术改造、提高生产率——“电子生产率”(e-productivity)和竞争力的重要工具。高性能计算已从技术计算(即科学计算和工程计算)扩展到商业应用和网络信息服务领域
 

随着计算机科学技术与国民经济的快速发展,高性能计算已经逐渐成为科学研究所必需的辅助工具,在各个基础学科领域发挥出巨大的作用。如在气象气候、地震预报、石油物探、航空航天、工程计算、密码研究、新药设计、生物基因、船舶工程、地质勘探、海洋工程、城市建设、武器研究、材料工程、环境科学等领域,研究工作的计算任务往往公式复杂、计算难度大、计算时间极长,用一般计算方式难于完成,因此高性能计算系统就成为必不可少的工具。

高性能计算集群(HPCC-High Performance Computing Cluster)是计算机科学的一个分支,以解决复杂的科学计算或数值计算问题为目的,是由多台节点机(服务器)构成的一种松散耦合的计算节点集合。为用户提供高性能计算、网络请求响应或专业的应用程序(包括并行计算、数据库、Web)等服务。

相比起传统的小型机,集群系统有极强的伸缩性,可通过在集群中增加或删减节点的方式,在不影响原有应用与计算任务的情况下,随时增加和降低系统的处理能力。还可以通过人为分配的方式,将一个大型集群系统分割为多个小型集群分给多个用户使用,运行不同的业务与应用。

集群系统中的多台节点服务器系统通过相应的硬件及高速网络互连,由软件控制着,将复杂的问题分解开来,分配到各个计算节点上去,每个集群节点独立运行自己的进程,这些进程之间可以彼此通信(通常是利用MPI-消息传递接口),共同读取统一的数据资源,协同完成整个计算任务,以多台计算节点共同运算的模式来换取较小的计算时间。

根据不同的计算模式与规模,构成集群系统的节点数可以从几个到上千个。对于以国家政府、军方及大型组织机构来讲,节点数目可以达到数千甚至上万。而随着HPCC应用的普及,中小规模的高性能计算集群也慢慢走进中小型用户的视野,高性能计算集群系统的部署,极大地满足了此类用户对复杂运算的能力的需求,大大拓展了其业务范围,为中小型用户的成长提供支持。

 

高性能集群系统方案设计基于以下的原则:

先进性

并行计算系统是目前业界较为先进的计算体系,是融合了计算、存储、网络与软件的综合体,在构架整个系统的过程中,要保证架构的每个环节采用业界先进且成熟的产品与技术,要均衡各环节之间的关系,消除系统构架的瓶颈,保证整个系统的高效率运行,可以满足未来数年技术和应用发展的需要,保护用户投资。

高性能

集群系统的重量考核指标是整体性能,即计算、存储、I/O能力与智能管理的体现。系统中所有节点均配置了基于最新六核处理器,保证充足的计算能力;节点间使用万兆网络高速互连,保证了通信密集型并行应用对互连网络的性能要求。

高可扩展性

集群系统区别于传统SMP/MPP计算体系的独特优势就是优异的扩展性,用户可以根据自己的需求随时增减系统中节点的数量,在将来计算能力需要扩充的时候,只需要增加一定数量的节点数目,即可在不影响当前应用的情况下,扩展整个系统的计算与存储能力。

环保节能

集群系统是由多个服务器节点、大容量存储及复杂网络构成的大规模应用系统,是一个巨大的耗电/发热体,除了本身的能耗,随之配备的空调系统也是耗电大户。因此,在系统设计之时除了性能效率之外,必须考虑节能与环保的问题以减少对社会环境资源我过多占用与破坏。HP SL6500可扩展服务器的高密度、能量智控、气流导向有效散热与自动管理特性可以使整个系统保持在较低的功耗,减少对电力的消耗、保护社会环境资源。

此方案中,我公司通过提供的计算集群系统帮助客户解决,大量基因数据运算的需求,大大缩短了计算时间。其中的系统配置情况:登陆节点和管理节点由2HP ProLiant DL380机架式服务器构成;计算节点采用混合式搭建方案,:包含1个高密度GPU计算节点HP SL39080个高密度刀片式服务器HP BL460(瘦节点)、2个高性能刀片式服务器BL680(胖节点);I/O节点由3HP ProLiant DL380机架式服务器构成;登陆/管理节点、计算节点和I/O节点通过10Gb/s 万兆高速互联网络交换数据和存储数据;3I/O节点可以通过高速光纤网络连接至用户的存储系统来存储海量的计算结果;应用服务器等也可以通过高速网络直接连接至用户的网络系统。

 

系统技术指标

    本次方案中,集群计算主体采用40HP BL460高密度刀片式服务器作为瘦节点,每台瘦节点配置2Intel Xeon Intel Xeon E5-2680v3 主频2.5GHz /12-core/ 30MB缓存/120W48GB DDR3内存,2500GB SATA硬盘;同时集群还包含1HP SL390高密度服务器做为GPU计算节点,每台GPU计算节点配置2Intel Xeon X5650 六核CPU(2.66GHz/6-core/12MB/95W)3NVIDIA Tesla M2070 GPU488/6GB Cache)计算模块,48GB DDR3内存,同时配置2300GB SAS硬盘做RAID1;整套集群(不包含登陆/管理和IO节点)提供170个物理CPUGPU节点2个,瘦节点160个),1036个物理CPU核心(GPU节点12个,瘦节点960个),3Tesla M2070 GPU计算模块,1344GPU计算核心。系统总的双精度浮点峰值理论性能为: GPU计算理论峰值=515GFlops*3=1.545 Tflops (计算公式单个GPU双精度浮点计算值 * GPU数量)即每秒近1.545万亿次的双精度浮点计算能力; CPU计算理论峰值=80*2*12*2.4*16+2*4*8*2*4+1*2*6*2.66*4=38.4+0.512+0.12768=39.058Tflops(计算公式CPU主频 * CPU每个时钟周期执行指令数Intel4 * 系统总CPU核数),即每秒近11万亿次的双精度浮点计算能力;系统总的内存容量为96GB*40+512*2+48*1=4912GB=4.912TB;集群所有的节点(登陆/管理/计算/IO)全部配置10Gb/s万兆以太网卡,接入用户核心网络交换机,端到端网络延迟1.5 μs

 

集群系统硬件部分构成:

·         计算节点:40HP BL460高密度刀片服务器(放置在3C7000 10U刀片机箱内);1HP SL390高密度服务器(放置在1HP SL6500 4U机箱内)

·         管理和作业提交节点:3HP DL380 2U机架式服务器

·         IO节点:3HP DL380 2U机架式服务器

·         计算网络:10Gb 万兆高速以太网络

·         管理网络:全万兆高速以太网络

·         监控网络:百兆以太网

·         控制系统:基于HP iLO技术的全数字KVM+模拟KVM+系统监控管理解决方案

 

·         基础设施:HP机柜、供电模块、系统布线、线缆插座和相关附件

 

集群系统软件部分构成:

 

·         集群操作系统:Redhat Enterprise Linux

·         集群监控管理软件:HP CMU集群监控管理与快速部署软件

·         集群作业调度管理软件:OpenPBS作业调度

·         集群计算环境/编译器及数学库:MPICH, Intel MPI/Intel C,C++, Fortran编译器/intel MKLNvidia CUDA

·         集群文件系统:Lustre分布式并行文件系统