軟硬件協(xié)同創(chuàng)新 英特爾與生態(tài)伙伴加速融合HPC和AI
英特爾公司數(shù)據(jù)平臺(tái)集團(tuán)副總裁、高性能計(jì)算事業(yè)部總經(jīng)理Trish Damkroger告訴記者,高性能計(jì)算技術(shù)是一個(gè)非常基礎(chǔ)的工具。不管是疫情的防控也好,還是疫苗的開發(fā)也好,都與此息息相關(guān),這些工作會(huì)產(chǎn)生大量的計(jì)算以及其他的需求,高性能計(jì)算會(huì)被頻繁地使用。
2020年,一場(chǎng)突如其來(lái)的新冠疫情讓全球進(jìn)入到一個(gè)非常時(shí)刻,而數(shù)字經(jīng)技術(shù)的應(yīng)用讓人們?cè)诿鎸?duì)疫情時(shí)有了更多應(yīng)對(duì)舉措。特別是科技戰(zhàn)疫正加速HPC在醫(yī)療領(lǐng)域的廣泛應(yīng)用,原來(lái)使用HPC最多的是科研院所,在疫情期間醫(yī)院、公共衛(wèi)生防預(yù)等機(jī)構(gòu)都開始使用HPC。
同時(shí),隨著數(shù)字經(jīng)濟(jì)的崛起和大數(shù)據(jù)、人工智能等技術(shù)的快速創(chuàng)新和發(fā)展,大量的新研究方法和工具應(yīng)運(yùn)而生,科學(xué)計(jì)算呈現(xiàn)出了井噴式的需求。常規(guī)的計(jì)算能力遠(yuǎn)遠(yuǎn)無(wú)法應(yīng)對(duì)復(fù)雜多樣的新需求,各行各業(yè)急需計(jì)算性能強(qiáng)、效率高、適用廣的高性能計(jì)算集群,促使HPC技術(shù)跨學(xué)科跨領(lǐng)域的融合。
英特爾公司數(shù)據(jù)平臺(tái)集團(tuán)副總裁、高性能計(jì)算事業(yè)部總經(jīng)理Trish Damkroger告訴記者,高性能計(jì)算技術(shù)是一個(gè)非?;A(chǔ)的工具。不管是疫情的防控也好,還是疫苗的開發(fā)也好,都與此息息相關(guān),這些工作會(huì)產(chǎn)生大量的計(jì)算以及其他的需求,高性能計(jì)算會(huì)被頻繁地使用。
浪潮集團(tuán)AI&HPC副總經(jīng)理趙帥也表示,浪潮在國(guó)內(nèi)的教育、科研等各個(gè)領(lǐng)域幫助很多學(xué)校和研究所建設(shè)了他們目前為止最大型的超算系統(tǒng),來(lái)促進(jìn)他們整個(gè)科學(xué)研究的發(fā)現(xiàn)。這與和英特爾的越來(lái)越緊密的合作是密不可分的。二者正在共同促進(jìn)在整個(gè)國(guó)內(nèi)數(shù)據(jù)中心高性能計(jì)算各個(gè)領(lǐng)域當(dāng)中的高速發(fā)展。
Trish表示,HPC和AI正處于一個(gè)融合臨界點(diǎn),英特爾在高性能計(jì)算領(lǐng)域不斷創(chuàng)新和嘗試,高效融合HPC和AI。比如英特爾至強(qiáng)可擴(kuò)展處理器內(nèi)置了人工智能指令集,可以幫助用戶加速人工智能工作負(fù)載。同時(shí),英特爾也在跟生態(tài)系統(tǒng)的合作伙伴一起,通過(guò)新一代跨架構(gòu)統(tǒng)一軟件棧oneAPI把人工智能附加的功能整合到真正的應(yīng)用當(dāng)中。
軟硬件協(xié)同創(chuàng)新
在HPC和AI的融合過(guò)程中,通用處理和工作負(fù)載優(yōu)化加速的需求對(duì)于解決設(shè)計(jì)、工程和科學(xué)中以前不可能解決的問(wèn)題至關(guān)重要。這改變了我們?cè)O(shè)計(jì)、構(gòu)建和編程下一代超級(jí)計(jì)算系統(tǒng)的方式。同時(shí),在一個(gè)單一的計(jì)算環(huán)境中,系統(tǒng)架構(gòu)的創(chuàng)新正在進(jìn)行,以優(yōu)化工作流,并支持不同的HPC和AI應(yīng)用程序需求。此外,可編程性正在被重新定義,以簡(jiǎn)化跨多種處理器和加速器的開發(fā),以支持廣泛的生態(tài)系統(tǒng)運(yùn)用和創(chuàng)新,同時(shí)支持目前廣泛使用的編程語(yǔ)言。
英特爾一直致力于構(gòu)建技術(shù)基石,以制程和封裝、XPU架構(gòu)、內(nèi)存和存儲(chǔ)、互連、安全、軟件六大技術(shù)支柱,同時(shí)也以全尺度的存儲(chǔ)和互連技術(shù)推進(jìn)云邊端的融合,引領(lǐng)計(jì)算創(chuàng)新。
在提升算力方面,英特爾XPU異構(gòu)整合和oneAPI實(shí)現(xiàn)軟硬協(xié)同。XPU可包含多種不同架構(gòu),包括在CPU、GPU、加速器和FPGA中部署的標(biāo)量、矢量、矩陣和空間混合架構(gòu)組合。值得一提的是,英特爾最新發(fā)布的GPU架構(gòu)產(chǎn)品組合可帶來(lái)計(jì)算性能的高效提升。
在Trish看來(lái),XPU的策略是與英特爾定義的應(yīng)用特性非常相關(guān)的,英特爾提供不同的產(chǎn)品,包括CPU、FPGA、加速器的選項(xiàng),以及其他的產(chǎn)品對(duì)應(yīng)應(yīng)用的不同需求,這是一個(gè)比較核心的概念。
在軟件層面,oneAPI則是通過(guò)一套軟件接口、一套功能庫(kù)為開發(fā)者提供不同架構(gòu)上編程的便利性,同時(shí)已經(jīng)開發(fā)過(guò)的程序在架構(gòu)演進(jìn)過(guò)程中不需要重新開發(fā),從而輕易地遷移到未來(lái)的架構(gòu)上。
Trish說(shuō),oneAPI一直在持續(xù)更新迭代,英特爾希望通過(guò)這樣的軟件開發(fā)平臺(tái)可以幫助合作伙伴和客戶在軟件移植方面的工作上提供加速。“oneAPI是開源的,可以支持到第三方的產(chǎn)品線,加速HPC和AI融合,減少客戶的工作量。”
傳輸方面,英特爾提供了以太網(wǎng)、硅光子為代表的一系列技術(shù),大幅提升數(shù)據(jù)傳輸能力;存儲(chǔ)方面,英特爾獨(dú)具代表性的傲騰技術(shù),突破內(nèi)存和存儲(chǔ)瓶頸,極大地提升了數(shù)據(jù)、存儲(chǔ)和內(nèi)存的可用性、經(jīng)濟(jì)性和靈活性。英特爾為智能邊緣提供的軟硬融合技術(shù)實(shí)力,為云邊端技術(shù)融合打下堅(jiān)實(shí)的基礎(chǔ),引領(lǐng)智能邊緣的進(jìn)一步發(fā)展。
目前,HPC云化趨勢(shì)已經(jīng)非常明顯,而英特爾也跟云計(jì)算提供商有大量的合作,保證云計(jì)算提供商提供的服務(wù)可以滿足大部分的HPC應(yīng)用的需求,包括提供一個(gè)高性能的核心,提供更快的互連產(chǎn)品,提供更快的存儲(chǔ)選項(xiàng)給到行業(yè)的最終用戶。“我們?cè)诟袠I(yè)一線的云計(jì)算廠商合作,疫情加速更多中小型客戶向云上HPC遷移,這里面蘊(yùn)含巨大的商業(yè)機(jī)會(huì)。”Trish說(shuō)。
而在傳統(tǒng)硬件方面,英特爾也在保持著長(zhǎng)久以來(lái)的優(yōu)勢(shì)地位。據(jù)趙帥介紹,依托基于英特爾至強(qiáng)可擴(kuò)展處理器的π2.0平臺(tái),我們成功運(yùn)行了一個(gè)4.4萬(wàn)億粒子的N體模擬(N-body)算力,大概使用了集群80%的節(jié)點(diǎn),使用了超過(guò)512個(gè)節(jié)點(diǎn),兩萬(wàn)多個(gè)核心,追蹤了137億宇宙演化過(guò)程,打破了天文學(xué)N體模擬的世界紀(jì)錄。這一點(diǎn)是浪潮聯(lián)合英特爾與上海交大在π2.0上取得的非常重大的成果。
除了π2.0之外,浪潮今年基于英特爾最新的Cascade Lake Refresh處理器,也為中南大學(xué)也設(shè)計(jì)了一套最強(qiáng)性能,目前高校應(yīng)該是最強(qiáng)計(jì)算能力的超算系統(tǒng),趙帥表示。這些都是我們跟英特爾基于我們最新的產(chǎn)品,一代一代的為中國(guó)的教育和科研用戶創(chuàng)造更好的集群系統(tǒng),也創(chuàng)造更大的價(jià)值。
加速行業(yè)落地
前面我們提到醫(yī)療衛(wèi)生健康行業(yè)對(duì)于HPC是剛性需求,英特爾跟上海瑞金醫(yī)院國(guó)家轉(zhuǎn)化醫(yī)學(xué)中心聯(lián)合打造了高性能計(jì)算和AI融合的平臺(tái),瑞金醫(yī)院國(guó)家轉(zhuǎn)化醫(yī)學(xué)中心屬于轉(zhuǎn)化醫(yī)學(xué)國(guó)家重大科技基礎(chǔ)設(shè)施,它是“十二五”期間國(guó)家重點(diǎn)規(guī)劃的16項(xiàng)重大基礎(chǔ)設(shè)施之一。
國(guó)家轉(zhuǎn)化醫(yī)學(xué)中心大數(shù)據(jù)平臺(tái)負(fù)責(zé)人呂綱介紹說(shuō),在本次疫情當(dāng)中,瑞金轉(zhuǎn)化醫(yī)學(xué)中心也和上海公衛(wèi)中心進(jìn)行了合作,對(duì)2020年1月20日-2月25日期間收治的326例患者,進(jìn)行了病毒基因組、臨床表現(xiàn)特點(diǎn)、免疫反應(yīng)改變等數(shù)據(jù)的全面深度分析,其中112個(gè)COVID-19病例的病毒基因組進(jìn)行了深度測(cè)序、組裝和解析。相關(guān)研究成果最后也在《Nature》的主刊上得到了發(fā)表,從收到樣本開始測(cè)序,到后續(xù)數(shù)據(jù)的產(chǎn)生、分析、以及最后文章的撰寫與提交,總共是短短的45天時(shí)間,這個(gè)平臺(tái)在其中起到了非常大的加速作用。
從架構(gòu)上,中心采用了英特爾傲騰的內(nèi)存產(chǎn)品來(lái)擴(kuò)充內(nèi)存密集型任務(wù)能力,也在嘗試使用DAOS這個(gè)分布式文件系統(tǒng),部署AI和一些組學(xué)計(jì)算的應(yīng)用,通過(guò)它對(duì)數(shù)據(jù)快速流轉(zhuǎn)的優(yōu)勢(shì)加速提升項(xiàng)目的運(yùn)行效率。DAOS系統(tǒng)提供非??斓牟l(fā)、聚合的帶寬,符合組學(xué)超大文件數(shù)量讀入讀出的分析需求。有的時(shí)候,分析中還會(huì)產(chǎn)生大量的小文件,而傲騰內(nèi)存可以大大加速這個(gè)分析過(guò)程。
“在組學(xué)分析當(dāng)中,負(fù)載是非常多樣化的,既有屬于計(jì)算密集型應(yīng)用,又是資源密集型需求,特定分析對(duì)內(nèi)存需求也很大,由于數(shù)據(jù)量大,通常也會(huì)有很大的數(shù)據(jù)I/O方面的壓力。這種情況下,最好的加速方式是采用CPU加速的方式。例如我們?cè)谝恍┗蚪M測(cè)序上的分析,就采用了CPU加速方式,利用其并行化的特點(diǎn),能夠使原來(lái)分析的速度提高5到10倍。”呂綱說(shuō)。
特別是在傲騰內(nèi)存使用方面,中心應(yīng)用工作負(fù)載基本上分為兩種,一種是Reference相關(guān)的,它對(duì)CPU核心數(shù)有比較多的需求。另外一種是Assembly,它需要把不同的碎片進(jìn)行整合,這一類的計(jì)算對(duì)內(nèi)存的需求就非常大,呂綱解釋道。針對(duì)不同的應(yīng)用類型,傲騰內(nèi)存提供了內(nèi)存模式和直連模式。比如需要進(jìn)行全基因組組裝的時(shí)候,當(dāng)需要大內(nèi)存的時(shí)候,我們會(huì)使用傲騰的內(nèi)存模式來(lái)。另外一種情況是其他的機(jī)器會(huì)采用存儲(chǔ)模式,通過(guò)DAOS分布式文件系統(tǒng)來(lái)對(duì)應(yīng)用進(jìn)行加速。
呂綱表示,在進(jìn)行全基因組組裝的時(shí)候,我們會(huì)使用傲騰的內(nèi)存模式來(lái)實(shí)現(xiàn)大內(nèi)存。其他的機(jī)器會(huì)采用存儲(chǔ)模式,通過(guò)DAOS分布式文件系統(tǒng)來(lái)對(duì)應(yīng)用進(jìn)行加速。
對(duì)此,北京東方超算科技有限公司CEO白洋也表示,因?yàn)橛⑻貭栍泻芏嘈碌募夹g(shù)需要慢慢去找一些使用場(chǎng)景。比如說(shuō)AEP,它的特點(diǎn)是如果我們把它當(dāng)成內(nèi)存來(lái)用的話,它的內(nèi)存容量要比傳統(tǒng)的DDR的Memory要大。在很多情況下是和英特爾與終端用戶共同探索,達(dá)到性價(jià)比和性能雙重兼顧。
南京大學(xué)人工微結(jié)構(gòu)科學(xué)與協(xié)作創(chuàng)新中心姚舸則表示,未來(lái)我們希望得到英特爾更多的支持,這樣我們?cè)谖磥?lái)可以更好的提升我們基礎(chǔ)設(shè)施的能力,我們整個(gè)信息化包括高性能計(jì)算的能力。因?yàn)閷?duì)于科研來(lái)說(shuō),其實(shí)多少都不夠,老師總是可以用滿。
結(jié)語(yǔ)
高性能計(jì)算已經(jīng)融入了我們的生活,計(jì)算力的發(fā)展支撐了這一進(jìn)程,并且成為了其中關(guān)鍵性的力量。從計(jì)算架構(gòu)到應(yīng)用,英特爾不斷賦能HPC,推動(dòng)計(jì)算產(chǎn)業(yè)的變革。
- 英特爾® 至強(qiáng)® 集成AI加速,讓智者更強(qiáng)
- 英特爾® 至強(qiáng)® 可擴(kuò)展處理器
- 了解更多 >>