軟硬件協(xié)同創(chuàng)新 英特爾與生態(tài)伙伴加速融合HPC和AI
英特爾公司數(shù)據(jù)平臺集團副總裁、高性能計算事業(yè)部總經(jīng)理Trish Damkroger告訴記者,高性能計算技術是一個非?;A的工具。不管是疫情的防控也好,還是疫苗的開發(fā)也好,都與此息息相關,這些工作會產(chǎn)生大量的計算以及其他的需求,高性能計算會被頻繁地使用。
2020年,一場突如其來的新冠疫情讓全球進入到一個非常時刻,而數(shù)字經(jīng)技術的應用讓人們在面對疫情時有了更多應對舉措。特別是科技戰(zhàn)疫正加速HPC在醫(yī)療領域的廣泛應用,原來使用HPC最多的是科研院所,在疫情期間醫(yī)院、公共衛(wèi)生防預等機構(gòu)都開始使用HPC。
同時,隨著數(shù)字經(jīng)濟的崛起和大數(shù)據(jù)、人工智能等技術的快速創(chuàng)新和發(fā)展,大量的新研究方法和工具應運而生,科學計算呈現(xiàn)出了井噴式的需求。常規(guī)的計算能力遠遠無法應對復雜多樣的新需求,各行各業(yè)急需計算性能強、效率高、適用廣的高性能計算集群,促使HPC技術跨學科跨領域的融合。
英特爾公司數(shù)據(jù)平臺集團副總裁、高性能計算事業(yè)部總經(jīng)理Trish Damkroger告訴記者,高性能計算技術是一個非?;A的工具。不管是疫情的防控也好,還是疫苗的開發(fā)也好,都與此息息相關,這些工作會產(chǎn)生大量的計算以及其他的需求,高性能計算會被頻繁地使用。
浪潮集團AI&HPC副總經(jīng)理趙帥也表示,浪潮在國內(nèi)的教育、科研等各個領域幫助很多學校和研究所建設了他們目前為止最大型的超算系統(tǒng),來促進他們整個科學研究的發(fā)現(xiàn)。這與和英特爾的越來越緊密的合作是密不可分的。二者正在共同促進在整個國內(nèi)數(shù)據(jù)中心高性能計算各個領域當中的高速發(fā)展。
Trish表示,HPC和AI正處于一個融合臨界點,英特爾在高性能計算領域不斷創(chuàng)新和嘗試,高效融合HPC和AI。比如英特爾至強可擴展處理器內(nèi)置了人工智能指令集,可以幫助用戶加速人工智能工作負載。同時,英特爾也在跟生態(tài)系統(tǒng)的合作伙伴一起,通過新一代跨架構(gòu)統(tǒng)一軟件棧oneAPI把人工智能附加的功能整合到真正的應用當中。
軟硬件協(xié)同創(chuàng)新
在HPC和AI的融合過程中,通用處理和工作負載優(yōu)化加速的需求對于解決設計、工程和科學中以前不可能解決的問題至關重要。這改變了我們設計、構(gòu)建和編程下一代超級計算系統(tǒng)的方式。同時,在一個單一的計算環(huán)境中,系統(tǒng)架構(gòu)的創(chuàng)新正在進行,以優(yōu)化工作流,并支持不同的HPC和AI應用程序需求。此外,可編程性正在被重新定義,以簡化跨多種處理器和加速器的開發(fā),以支持廣泛的生態(tài)系統(tǒng)運用和創(chuàng)新,同時支持目前廣泛使用的編程語言。
英特爾一直致力于構(gòu)建技術基石,以制程和封裝、XPU架構(gòu)、內(nèi)存和存儲、互連、安全、軟件六大技術支柱,同時也以全尺度的存儲和互連技術推進云邊端的融合,引領計算創(chuàng)新。
在提升算力方面,英特爾XPU異構(gòu)整合和oneAPI實現(xiàn)軟硬協(xié)同。XPU可包含多種不同架構(gòu),包括在CPU、GPU、加速器和FPGA中部署的標量、矢量、矩陣和空間混合架構(gòu)組合。值得一提的是,英特爾最新發(fā)布的GPU架構(gòu)產(chǎn)品組合可帶來計算性能的高效提升。
在Trish看來,XPU的策略是與英特爾定義的應用特性非常相關的,英特爾提供不同的產(chǎn)品,包括CPU、FPGA、加速器的選項,以及其他的產(chǎn)品對應應用的不同需求,這是一個比較核心的概念。
在軟件層面,oneAPI則是通過一套軟件接口、一套功能庫為開發(fā)者提供不同架構(gòu)上編程的便利性,同時已經(jīng)開發(fā)過的程序在架構(gòu)演進過程中不需要重新開發(fā),從而輕易地遷移到未來的架構(gòu)上。
Trish說,oneAPI一直在持續(xù)更新迭代,英特爾希望通過這樣的軟件開發(fā)平臺可以幫助合作伙伴和客戶在軟件移植方面的工作上提供加速。“oneAPI是開源的,可以支持到第三方的產(chǎn)品線,加速HPC和AI融合,減少客戶的工作量。”
傳輸方面,英特爾提供了以太網(wǎng)、硅光子為代表的一系列技術,大幅提升數(shù)據(jù)傳輸能力;存儲方面,英特爾獨具代表性的傲騰技術,突破內(nèi)存和存儲瓶頸,極大地提升了數(shù)據(jù)、存儲和內(nèi)存的可用性、經(jīng)濟性和靈活性。英特爾為智能邊緣提供的軟硬融合技術實力,為云邊端技術融合打下堅實的基礎,引領智能邊緣的進一步發(fā)展。
目前,HPC云化趨勢已經(jīng)非常明顯,而英特爾也跟云計算提供商有大量的合作,保證云計算提供商提供的服務可以滿足大部分的HPC應用的需求,包括提供一個高性能的核心,提供更快的互連產(chǎn)品,提供更快的存儲選項給到行業(yè)的最終用戶。“我們在跟行業(yè)一線的云計算廠商合作,疫情加速更多中小型客戶向云上HPC遷移,這里面蘊含巨大的商業(yè)機會。”Trish說。
而在傳統(tǒng)硬件方面,英特爾也在保持著長久以來的優(yōu)勢地位。據(jù)趙帥介紹,依托基于英特爾至強可擴展處理器的π2.0平臺,我們成功運行了一個4.4萬億粒子的N體模擬(N-body)算力,大概使用了集群80%的節(jié)點,使用了超過512個節(jié)點,兩萬多個核心,追蹤了137億宇宙演化過程,打破了天文學N體模擬的世界紀錄。這一點是浪潮聯(lián)合英特爾與上海交大在π2.0上取得的非常重大的成果。
除了π2.0之外,浪潮今年基于英特爾最新的Cascade Lake Refresh處理器,也為中南大學也設計了一套最強性能,目前高校應該是最強計算能力的超算系統(tǒng),趙帥表示。這些都是我們跟英特爾基于我們最新的產(chǎn)品,一代一代的為中國的教育和科研用戶創(chuàng)造更好的集群系統(tǒng),也創(chuàng)造更大的價值。
加速行業(yè)落地
前面我們提到醫(yī)療衛(wèi)生健康行業(yè)對于HPC是剛性需求,英特爾跟上海瑞金醫(yī)院國家轉(zhuǎn)化醫(yī)學中心聯(lián)合打造了高性能計算和AI融合的平臺,瑞金醫(yī)院國家轉(zhuǎn)化醫(yī)學中心屬于轉(zhuǎn)化醫(yī)學國家重大科技基礎設施,它是“十二五”期間國家重點規(guī)劃的16項重大基礎設施之一。
國家轉(zhuǎn)化醫(yī)學中心大數(shù)據(jù)平臺負責人呂綱介紹說,在本次疫情當中,瑞金轉(zhuǎn)化醫(yī)學中心也和上海公衛(wèi)中心進行了合作,對2020年1月20日-2月25日期間收治的326例患者,進行了病毒基因組、臨床表現(xiàn)特點、免疫反應改變等數(shù)據(jù)的全面深度分析,其中112個COVID-19病例的病毒基因組進行了深度測序、組裝和解析。相關研究成果最后也在《Nature》的主刊上得到了發(fā)表,從收到樣本開始測序,到后續(xù)數(shù)據(jù)的產(chǎn)生、分析、以及最后文章的撰寫與提交,總共是短短的45天時間,這個平臺在其中起到了非常大的加速作用。
從架構(gòu)上,中心采用了英特爾傲騰的內(nèi)存產(chǎn)品來擴充內(nèi)存密集型任務能力,也在嘗試使用DAOS這個分布式文件系統(tǒng),部署AI和一些組學計算的應用,通過它對數(shù)據(jù)快速流轉(zhuǎn)的優(yōu)勢加速提升項目的運行效率。DAOS系統(tǒng)提供非常快的并發(fā)、聚合的帶寬,符合組學超大文件數(shù)量讀入讀出的分析需求。有的時候,分析中還會產(chǎn)生大量的小文件,而傲騰內(nèi)存可以大大加速這個分析過程。
“在組學分析當中,負載是非常多樣化的,既有屬于計算密集型應用,又是資源密集型需求,特定分析對內(nèi)存需求也很大,由于數(shù)據(jù)量大,通常也會有很大的數(shù)據(jù)I/O方面的壓力。這種情況下,最好的加速方式是采用CPU加速的方式。例如我們在一些基因組測序上的分析,就采用了CPU加速方式,利用其并行化的特點,能夠使原來分析的速度提高5到10倍。”呂綱說。
特別是在傲騰內(nèi)存使用方面,中心應用工作負載基本上分為兩種,一種是Reference相關的,它對CPU核心數(shù)有比較多的需求。另外一種是Assembly,它需要把不同的碎片進行整合,這一類的計算對內(nèi)存的需求就非常大,呂綱解釋道。針對不同的應用類型,傲騰內(nèi)存提供了內(nèi)存模式和直連模式。比如需要進行全基因組組裝的時候,當需要大內(nèi)存的時候,我們會使用傲騰的內(nèi)存模式來。另外一種情況是其他的機器會采用存儲模式,通過DAOS分布式文件系統(tǒng)來對應用進行加速。
呂綱表示,在進行全基因組組裝的時候,我們會使用傲騰的內(nèi)存模式來實現(xiàn)大內(nèi)存。其他的機器會采用存儲模式,通過DAOS分布式文件系統(tǒng)來對應用進行加速。
對此,北京東方超算科技有限公司CEO白洋也表示,因為英特爾有很多新的技術需要慢慢去找一些使用場景。比如說AEP,它的特點是如果我們把它當成內(nèi)存來用的話,它的內(nèi)存容量要比傳統(tǒng)的DDR的Memory要大。在很多情況下是和英特爾與終端用戶共同探索,達到性價比和性能雙重兼顧。
南京大學人工微結(jié)構(gòu)科學與協(xié)作創(chuàng)新中心姚舸則表示,未來我們希望得到英特爾更多的支持,這樣我們在未來可以更好的提升我們基礎設施的能力,我們整個信息化包括高性能計算的能力。因為對于科研來說,其實多少都不夠,老師總是可以用滿。
結(jié)語
高性能計算已經(jīng)融入了我們的生活,計算力的發(fā)展支撐了這一進程,并且成為了其中關鍵性的力量。從計算架構(gòu)到應用,英特爾不斷賦能HPC,推動計算產(chǎn)業(yè)的變革。
- 英特爾® 至強® 集成AI加速,讓智者更強
- 英特爾® 至強® 可擴展處理器
- 了解更多 >>
