前言:想要寫出一篇令人眼前一亮的文章嗎?我們特意為您整理了5篇高性能計算范文,相信會為您的寫作帶來幫助,發現更多的寫作思路和靈感。
“事實上,星云的變化,是曙光和國家超算深圳中心協商后,人為主動地降低的。”曙光副總裁聶華向記者透露,星云今年被一拆為二,一部分面向傳統科學計算和高性能計算,另一部分則在拆分的同時,去除了一些加速部件,增添了一些靈活通用、面向分布式網絡的部件,做好了迎接云計算應用的準備。
這一變化體現了曙光的未來策略的轉變。“曙光今年很重要的工作,是在維持原有高性能計算領先優勢的基礎上,大力推廣云計算。”聶華說。
不過,高性能計算機與云計算集群能夠很容易地轉換么?
高性能計算機也能做云計算
“確實有一種觀點認為,高性能計算機不能用來做云計算。”聶華對高性能計算機和云計算的集群系統進行了比較:“傳統意義上的高性能計算機,其節點間的耦合非常緊密。而云計算的集群系統耦合比較松散。但是,從技術角度來看,松耦合的系統想改進成緊耦合系統是非常難的事情,而緊耦合系統按照松耦合的系統來使用,在技術上不存在任何障礙。”
今天,高性能計算和云計算在技術上已經有很多共同點,云計算很多技術,尤其是基礎架構方面的技術,其實是對高性能計算機技術的延伸。“最早的高性能計算機為了讓耦合度更緊密,需要采用專用部件、網絡。發展到通用集群架構之后,不再像傳統大型機一樣需要將整個系統整合到一臺設備中,與云計算所用的集群技術重合度越來越高。”聶華表示,曙光在高性能計算方面的很多技術積累完全可以應用在今天的云計算系統上。當然,也有一些虛擬化方面的技術、分布式網絡的技術是與云計算一同出現的。
同時,高性能計算機也開始面臨一些新的問題。“計算能力充足之后,高性能計算機也要解決I/O墻的問題,因此也衍生出了高吞吐計算機的概念。今天,高性能計算機也需要解決進行大量數據交換的問題。這些恰恰是云計算主要面對的問題。”聶華表示,從這一發展過程來看,高性能計算機在技術角度上完全可以在未來承擔云計算的任務。只不過,高性能計算機成本更為高昂,從運營角度來看,所付出的成本等代價過高。因此,高性能計算機與云計算集群系統依然需要各司其職。
要為應用做計算機
未來,高性能計算也會出現不同的分支。“傳統科學計算中,有一類問題的特點是計算規模非常龐大、數據關聯度比較低,像氣象問題等。這些計算以后會更加趨向于通過專門的加速器來進行加速。另一類是一些傳統工程計算,這些計算往往涉及到一些大型商業軟件,因此系統架構不會發生太大變化。”聶華說。
“與專用計算機相比,我們設計過的最難高性能計算機恰恰是為上海超算中心設計的更通用的計算機。”說到架設云計算系統和高性能計算系統的不同,聶華半開玩笑地舉例:“針對特定應用開發的專用系統,只需要某一方面的性能足夠強。但上海超算這樣的系統對各個方面的指標都有要求,即使只有1%的應用對某項指標有要求,也需要達到這個標準。”
面向云計算的系統,其指標要求和高性能計算不盡相同。而且,高性能計算還可以靠雖然未必全面,但大家普遍認可的Linpack標準進行衡量,但云計算還沒有這樣一個可以讓大家普遍接受的衡量標準。
“云計算最重要的是什么?有人說是運營成本,有人說是易用性、方便性、彈性,目前還沒有找到一個最具參考性、最有效的指標。只是在某一方面有一些標準出現,例如,對能耗,有QUE這一指標進行衡量。一個行業普遍認可的標準不是短期內能出現的。實際上,沒有一個應用的過程,你很難去總結出這樣一個指標,也很難進行針對性的提升。”聶華說。
作為高性能計算領域的先行者,戴爾近日宣布推出全新的高性能計算服務器產品、云產品、軟件,繼續為主流企業帶來高性能計算能力,繼續致力于讓各種規模的企業都能享受高性能計算,推動高性能計算社區的發展。新系統包括搭載了采用英特爾至強Phi處理器的PowerEdge C6320p服務器。PowerEdge C6320p補充了戴爾現有的高性能計算產品組合,提供了一個專為高度并行負載而優化的解決方案。
戴爾驗證解決方案與高性能計算事業部高級副總裁吉米?甘塞爾(Jim Ganthier)表示:“戴爾具備很多優勢來突破以數據為中心的高性能計算所面臨的障礙,使客戶能夠繼續在大數據和云融合領域的全新工作中保持領先。我們與包括客戶在內的高性能計算社區合作,推動并優化高性能計算創新,同時讓各種規模的企業和機構都能輕松獲得并部署這些系統。”
解決日益復雜的問題不僅僅需要有快速精準的計算結果的能力,同時也需要一個適當均衡并集成的系統。戴爾PowerEdge C6320p是半寬1U服務器節點。它采用了英特爾至強Phi處理器,專門用于高密度、高度并行、高性能計算的環境。
采用了英特爾至強Phi處理器的戴爾PowerEdge C6320p服務器在并行編碼、降低延遲和簡化管理上擁有出眾的表現。并行計算多用于對科學和工程等I域的難題進行建模。然而,隨著大數據和機器學習的興起,商務應用需要更快的計算系統來提供更強的動力,這些應用需要以并行計算來處理大量數據。PowerEdge C6320p服務器可以為用戶提供出色的并行處理功能和更大的吞吐量,可以幫助客戶滿足并行處理環境的需求,來應對快速增長的數據和更高的壓力負載。
搭載了生命周期控制器(Lifecycle Controller)的戴爾遠程訪問控制器(iDRAC8)可以簡化并自動處理戴爾PowerEdge C6320p服務器的部署、監控和更新,從而簡化運營并確保更高水平的服務和可用性,這些都可在不使用會對應用性能產生影響的操作系統的前提下實現。
值得一提的是,英特爾至強Phi處理器能夠兼容其它英特爾至強處理器,這樣用戶就能夠通過使用已熟悉的相同的x86代碼和開發庫保護前期編碼投資。在英特爾架構上進行標準化意味著可以為代碼使用同一個編程模式,從而通過共享開發庫和重復利用代碼來提高效率,同時盡量減少重新培訓程序員學習新界面、新方法和新語言的學習時間和成本。
它具有平衡強大的處理能力與低延遲I/O的平臺設計,為研究人員提供了更快、更深入洞察研究事物的能力。
不過,時至今日還是有很多人認為,高性能計算和超級計算機只是停留在實驗室里的產物。殊不知,其目前已經應用于包括金融、能源、地質勘探、互聯網等多種領域之中。“高性能計算正在逐漸深入到我們的實際應用之中。”在2013年10月29日~31日舉辦的全國高性能計算學術年會(HPC China 2013)上,業內多位專家均拋出了這樣的觀點。
大數據大發現
高能物理、高性能可視化與可視化分析、生物學、氣象,甚至社交網絡,這些都成為了HPC China 2013會議的演講主題。與以往不同的是,本屆全國高性能計算學術年會不僅將重點放在了對高性能計算技術的論證和研討上,同時還將多場演講的主題與大數據應用掛鉤。
這也就無外乎,為什么大數據分論壇成為本次大會最為火熱的一個場次了。“從大數據到大發現”,這是中國科學院高能物理研究所研究員孫功星在HPC China 2013上的演講題目。這一題目其實可以很好地概括高性能計算與大數據之間的聯系。
孫功星介紹說,在高能物理領域的大數據處理過程主要包括三個方面:首先是Data Recording,也就是從探測器中獲取Raw Event,以二進制格式記錄探測器信號,再由計算機產生模擬實驗的蒙特卡羅模擬數據,將物理信號數字化;然后是Data Processing,即讀出Raw/MC Raw,處理產生相關物理信息,如動量、對撞頂點等;最后就是Data Mining,這一步是物理學家對由上千個屬性所組成的DST Event文件進行分析,并最后產生物理結果。
“現在我們已經在開始嘗試采用Hadoop本地系統進行研究。采用Hadoop方案之后,對于網絡、磁盤陣列的需求減少很多。”孫功星表示,“未來高能物理領域將會產生出更多數據,這會為計算帶來更大的挑戰。因此,高能物理未來的發展趨勢是與新型的計算機體系結構,以及高性能計算機結合起來。”
孫功星的觀點也可以說是代表了目前業界的一種普遍觀點。曙光公司副總裁邵宗有在本屆學術年會上就向記者表示:“高性能計算完美契合了大數據在運算能力、高性能存儲等方面需求,而大數據則給高性能計算提供了新型商業市場,有助于推動高性能計算拓展新的市場藍海,兩者在產業生態鏈上的緊密銜接可以很好地推進信息資源組織模式的深入變革與發展。在應對大數據挑戰的過程中,高性能計算可以起到重要作用。從數據的存儲與處理的角度來說,采用高性能計算系統不僅可以大幅降低大容量存儲的成本,而且其處理數據、傳輸數據、恢復數據的速度會遠遠超過普通的計算系統。在過去完整恢復一塊硬盤的速度可能需要48個小時,但融合了曙光高性能計算技術的存儲產品,能將時間控制在十幾分鐘,顯著降低了大規模集群存儲系統中用戶運維的壓力,提高了系統效率。”
構建完整生態體系
從全球領域來看,伴隨著技術的不斷進步,高性能計算的應用范圍不斷擴大,其正在迸發出前所未有的活力。而在這一過程中,相關廠商的作用不容忽視。一方面,他們將科研成果加以實踐和應用;另一方面,他們還在積極地營造出一個高性能計算的生態系統,培養更多技術人員。
孕育技術、培植市場、發現商機,再由廠商對科研進行資助,這種循環模式在高性能計算的領域已經形成了一種良性商業循環。HPC China 2013現場所舉辦的“2013全國教育科研并行應用程序優化大賽”,就是這種循環的體現。在這場主題為“尋找優秀并行應用,提高并行程序性能”的比賽中,匯集了來自中科院計算所、中科院軟件所、中科院超算中心、國防科技大學計算機學院、中國科學技術大學、西安郵電大學、清華大學計算機系,以及山東大學等研究機構和高校的8支團隊。
中國計算機學會高性能計算專業委員會(CCF TCHPC)與英特爾(中國)有限公司共同主辦了這次比賽,并由北京并行科技有限公司所承辦。最終,國防科技大學計算機學院以優異的并行程序性能奪得桂冠,獲得5萬元獎金和“微異構優化獎”獎杯及證書。中國科學技術大學和清華大學計算機系共同獲得第二名,分別獲得1萬元獎金,以及“微架構優化獎”和“多線程及MPI優化獎”獎杯及證書。另外五支參賽團隊分別獲得5000元獎金及“并行應用優化獎”獎杯。
在本次比賽中,應用到了并行科技所開發的大數據可視化軟件 Paramon應用運行特征收集器和Paratune應用運行特征分析器。并行科技總經理陳健表示:“對很多人而言,高性能計算有如陽春白雪,過于高端。而實際上高性能行業的發展趨勢即是讓更多的人較為直觀地看到一些應用運行特征。”他認為,用戶需要的不僅僅是英特爾所提供的方便的工具和良好的開發環境,還需要更直觀的應用環境。
英偉達(Nvidia)也在HPC China 2013上闡述了他們對于高性能計算生態系統的看法。眾所周知,英偉達在很早以前就已經在高性能計算領域推出了GPGPU(通用GPU)的概念,并積累下大量的應用實例。在這個從無到有的過程中,英偉達構建起了一套完整的體系。英偉達公司高性能計算開發技術經理王鵬表示,高性能計算系統的開發是非常耗費成本和精力的,英偉達在其中的做法是,以GeForce產品系列的開發為基礎,將算法移植到高性能計算方面。王鵬介紹說,在英偉達,由于算法部分擁有很高的相似度,因此科學計算與游戲編程已經很好地結合在了一起,“模擬分子運動也可以等同于模擬游戲”。同時,無論是密集型科學計算還是帶寬密集型科學計算,都可以應用到游戲方面的經驗,從而使高性能計算真正為應用服務。
王鵬表示,英偉達正在致力于繼續開拓高性能計算應用開發的市場,降低進入門檻。“未來所有采用英偉達顯卡的個人電腦和工作站,即使是消費領域的GeForce產品,都可以進行高性能計算應用的開發。”王鵬說,“這將為高校學生接觸高性能計算打開一扇窗。”
鏈接1
TOP100,重磅級
每一年的HPC China大會,很重要的內容都是HPC TOP100排行榜的。北京應用物理與計算數學研究所研究員袁國興在本次大會上了2013年最新一期的TOP100超算排行榜單。在榜單中,天河二號當之無愧而且毫無懸念地成為了第一名,第二名則是去年的冠軍天河一號A,這兩臺超級計算機均來自國防科大,神威藍光位列季軍。據悉,本次TOP100榜單共有59臺超級計算機系統全新上榜,榜單內容相比去年進行了大幅度的更新。值得一提的是,來自國家氣象局、廣東省氣象局的3臺IBM超級計算機分別獲得了榜單排名的并列第11名和22名。
本次TOP100榜單中的亮點不止于此。近日剛剛的上海交通大學高性能計算機在榜單中排名第37位,也是目前為止第一次采用CPU+GPU+MIC三重架構的產品。而從榜單的整體來看,采用異構計算的超級計算機數量相比去年有了明顯的提升,包括了排名第75位的廈門超算中心的神威4000H和排名第100位的中科院理論物理所的曙光GHPC1000。
為什么每年TOP100都會收到很大的關注度?實際上,這個榜單就是中國高性能計算領域的一個縮影。總結這幾年的TOP100,我們會發現,不僅高性能計算的性能在逐漸提高,其市場也在逐漸擴大,新技術層出不窮。結合大數據和云計算應用的普及,我們可以毫不猶豫地判斷出,這個世界已經進入了一個“高性能計算時代”。
鏈接2
英特爾展示微異構Embree照片級光線追蹤解決方案
在HPC China 2013現場,英特爾展示了基于至強 E5處理器和至強融核協處理器平臺的Embree照片級光線追蹤解決方案。
英特爾數據中心及互聯系統事業部技術計算和平臺應用支持團隊平臺架構師何萬青介紹說,所謂光線追蹤(ray tracing)就是一個在二維(2D)屏幕上呈現三維(3D)圖像的方法。這個技術的原理就是通過一個光線跟蹤程序利用數學方式確定和復制一幅圖像的光線的路線。在計算機圖形領域中,這種技術被普遍應用于生成高質量的照片級圖像,大大簡化了構建渲染模型,并且最大化地還原物體的細節。目前,該技術被廣泛應用于游戲、動畫、電視和DVD制作、電影等專業圖形應用領域。但是在實際使用中,光線追蹤技術應用運行的速度成為了最大挑戰之一。
Embree 是一組由英特爾研究院開發的高性能光線追蹤內核。這些內核經過專門的優化,并且支持 SSE 和 AVX 指令集,可在最新的英特爾處理器上進行照片級的渲染。除了光線追蹤內核,Embree 還提供了一個照片級渲染引擎的示例。Embree 專為 Monte Carlo 光線追蹤算法而設計,其中大部分光線都不連貫。在這種情形下,Embree 定的單條光線穿越內核可以提供最佳性能,而且它們極易集成到現有應用當中。
在本次的展示中,Embree系統被運行于基于英特爾至強處理器與至強融核協處理器的微異構平臺之上。 何萬青表示:“之所以采用微異構,是因為光線追蹤技術對計算、尤其是并行計算的能力需求很高,以實現高質量的實時渲染,這也是至強融核協處理器最擅長的。與傳統架構平臺對比,采用至強處理器與至強融核協處理器的平臺將渲染速度提升至4倍之多。”
鏈接3
國際高性能計算咨詢委員會中國研討會召開
作為歷屆高性能計算學術年會的重要組成部分,由國際高性能計算咨詢委員會主辦的中國研討會也在桂林召開。來自中外的高性能計算研究人員、程序開發人員、系統管理員,以及眾多大學相關領域老師學生匯集一堂,共同探討高性能領域的最新動態及未來發展。
科學計算和大數據給高性能計算帶來了更多的應用需求,進一步促進高性能計算向百億億次計算的目標進軍。在這個過程中,包括體系架構、應用編程、運維管理等多方面的問題,都在拷問高性能計算的方方面面。
石油勘探一直是對高性能計算機需求最大、應用最深的能源行業,同時也曾是受國外高性能計算機巨頭壟斷最嚴重的行業。為了打破國外公司的壟斷,曙光與中科院計算所率先擔當起了自主研發高性能計算機的歷史任務,從曙光1000到曙光4000,經過多年的不懈努力,曙光高性能機群系統在石油行業獲得了大量的成功應用。
日前,曙光TC4000機群再次中標中國石化石油勘探開發研究院,為其打造了集高性能、高穩定性于一身的科學、成熟的地震資料處理應用平臺。
中國石化石油勘探開發研究院是中國石化唯一從事油氣地球物理研究開發的專業研究機構,承擔著地震勘探工程規劃、野外采集設計、地震資料處理和解釋的重任。據中國石化南京石油勘探開發研究院相關負責人介紹,在本次系統搭建以前,研究院已經擁有了一定規模的處理系統和解釋系統,這些設備也承擔著絕大多數的生產任務,但隨著石油資源勘探片區的增多,原有的處理能力已經不足以支撐應用。
該負責人解釋說: “石油開采過程中鉆井費用極為昂貴,一旦井位確定不準,將會給石油企業和國家造成巨大損失。同時,世界各國對石油資源的需求都在急劇增加,而石油屬于不可再生資源,在地球上的儲存量有限,因此,世界各國石油企業都在竭盡全力在全球范圍內獲取石油資源。”所以,“如果我們的技術落后必將遠遠落在別人后面。”
為了在石油存儲量有限的條件下獲得更大的先機和主動權,必須要提高石油勘探的準確度,縮短勘探時間,降低石油開采的成本,“而這一切都建立在你能不能獲得更精確和豐富的數據,并通過高性能計算機進行計算分析,獲得準確的資料解釋的基礎上。”曙光公司負責石油行業的工程師說,從某種意義上說,高性能計算機已經成為提升石油行業勘探水平、增強國際競爭力的關鍵所在。
全書分8部分,共23章。第1部分 引言,共1章:1.開放歐洲網絡在復雜環境中的高性能計算的總結:介紹了其科學組織及項目活動。第2部分 用于異構,多核心系統的數值分析,含第2-4章:2.迭代求解方法和預處理技術對異構多核和眾核平臺的影響;3.多核計算機二維擴散方程的高效數值求解;4.神經科學中并行算法拋物問題的圖表顯示。第3部分 高性能計算機網絡通信與存儲注意事項,含第5-8章:5.高性能計算中拓撲映射算法和技術概述;6.異構HPC平臺集群通信的優化;7.大規模并行處理器有效的數據訪問模式;8.可擴展的存儲I / O軟件的藍色基因架構。第4部分 異構體系結構的有效利用,含第9-12章:9.異構系統中工作流動態調度的公平資源共享;10.異構多核架構中里德-所羅門糾刪碼的系統映射;11.異構并行計算平臺和工具的計算密集型算法:案例研究;12.電磁學問題中混合并行的有效應用。第5部分 CPU+GPU共處理,含第13-15章:13.對于使用功能計算性能模型的高性能計算平臺上高度異構,分層的設計和優化;14.高效多級負載均衡的異構CPU+GPU系統;15.共享內存異構系統中的全對最短路徑問題。第6部分 分布式系統的有效利用,含第16-17章:16.高性能云計算中的資源管理;17.大型并網系統的資源發現。第7部分 高性能計算中的能源意識,含第18-20章:18.HPC系統的能量感知途徑;19.云聯盟中提高能源認識的策略;20.使用異構CMP啟用網絡安全的高性能計算系統。第8部分 異構高性能計算的應用,含第21-23章:21.邁向高性能的分布式圖像檢索系統,高光譜遙感數據:以叢林計算為例;22.利用異構平臺的圖像和視頻處理;23.通過CPU+GPU協同處理的實時層析重建。
作者Emmanuel Jeannot是法國國家信息與自動化研究所的高級研究科學家,他從巴黎高等師范學院獲得了計算機科學博士學位,主要研究方向為流程布局、調度異構環境和網格、數據的重新分配、算法和并行機模型。
本書提供了在復雜環境中高性能計算的最新成果。適合想要了解高性能計算領域和發展現狀的研究人員和開發人員閱讀。