科技與體育的親密接觸 英特爾的黑科技帶來(lái)的新體驗(yàn)
伴隨著冬奧賽事的落幕,北京2022年冬奧會(huì)畫(huà)下圓滿的句號(hào),中國(guó)冰雪健兒以突破性的優(yōu)異成績(jī)?cè)僖淮蝿?chuàng)造歷史。
如果說(shuō)筆者對(duì)這屆冬奧會(huì)的印象,那么科技奧運(yùn)當(dāng)之無(wú)愧,不管是開(kāi)閉幕式還是賽場(chǎng)比賽,科技無(wú)處不在,綻放在每一個(gè)角落。智慧與科技的廣泛應(yīng)用成為本屆盛會(huì)的一大亮點(diǎn)。
作為奧運(yùn)會(huì)全球TOP合作伙伴,英特爾將一系列科技應(yīng)用于冬奧會(huì)的文化呈現(xiàn)、體育訓(xùn)練的方法革新、賽事場(chǎng)館的搭建運(yùn)營(yíng)、比賽實(shí)況的直播轉(zhuǎn)播等等方面,為體育賽事打造創(chuàng)新解決方案,創(chuàng)造了一個(gè)又一個(gè)精彩瞬間。
讓技術(shù)看得見(jiàn) 英特爾3DAT的神奇秀
相信每一個(gè)人對(duì)于北京2022年冬奧會(huì)的開(kāi)幕式印象深刻,尤其在《致敬人民》和《雪花》節(jié)目中,演員與國(guó)家體育場(chǎng)的地面大屏系統(tǒng)的默契協(xié)同,讓觀眾真切感知到科技為藝術(shù)帶來(lái)的驚喜。
這背后是基于運(yùn)行在第三代英特爾至強(qiáng)可擴(kuò)展處理器上的3DAT三維運(yùn)動(dòng)員追蹤技術(shù),以及針對(duì)開(kāi)幕式場(chǎng)景定制開(kāi)發(fā)的“基于AI的大型演出實(shí)時(shí)特效系統(tǒng)”,使得演員不需精準(zhǔn)排練就能呈現(xiàn)完美的藝術(shù)效果。
英特爾3DAT三維運(yùn)動(dòng)員追蹤技術(shù)是一套復(fù)雜的系統(tǒng),它由攝像機(jī)信息采集、數(shù)據(jù)分析、藝術(shù)效果渲染三大子系統(tǒng)構(gòu)成,其核心算法是基于計(jì)算機(jī)視覺(jué)、AI的實(shí)時(shí)人體檢測(cè)和位置追蹤技術(shù)。
在實(shí)時(shí)性上,英特爾依靠的是來(lái)自邊緣計(jì)算系統(tǒng)的強(qiáng)大算力。攝像機(jī)將采集到的數(shù)據(jù)信號(hào)通過(guò)光纖傳輸?shù)接⑻貭栐趪?guó)家體育場(chǎng)內(nèi)搭載的第三代英特爾至強(qiáng)可擴(kuò)展處理器的邊緣計(jì)算系統(tǒng)。第三代英特爾至強(qiáng)可擴(kuò)展處理器,支持8通道DDR4,64條PCI EXPRESS 4.0通道,全面增強(qiáng)I/O吞吐量,為實(shí)時(shí)、大量、精準(zhǔn)度要求高的圖形、影像處理和3D建模、數(shù)據(jù)分析,提供堅(jiān)實(shí)基礎(chǔ)。同時(shí)在傳輸效率上,基于英特爾OpenVINO視覺(jué)工具套件進(jìn)行開(kāi)發(fā),進(jìn)而實(shí)現(xiàn)精準(zhǔn)、流暢、實(shí)時(shí)的視頻數(shù)據(jù)讀取、預(yù)處理。從圖像采集識(shí)別、檢測(cè)和處理,只需要幾十毫秒的時(shí)間,真正做到了實(shí)時(shí)傳輸。
在北京冬奧會(huì)花樣滑冰表演滑上,一場(chǎng)科技與藝術(shù)相融的“光影演出”精彩上演。這場(chǎng)光影演出不僅僅是英特爾與清華美院的跨界合作,更是普通人與3DAT的藝術(shù)共創(chuàng)。
英特爾聯(lián)合合作伙伴收集來(lái)自普羅大眾的花滑運(yùn)動(dòng)素材,并通過(guò)英特爾3DAT技術(shù)將這些素材生成花滑運(yùn)動(dòng)的姿態(tài)、動(dòng)作等數(shù)據(jù)模型。而這些數(shù)據(jù)模型經(jīng)過(guò)了花樣滑冰表演滑節(jié)目中藝術(shù)化的處理,展示了所有中國(guó)人對(duì)冰雪運(yùn)動(dòng)的熱愛(ài)和自己的冰雪故事。
3DAT與光影演出的藝術(shù)碰撞從AI技術(shù)本源出發(fā),可分為數(shù)據(jù)收集、模型構(gòu)建、三維姿態(tài)輸出三部分。在數(shù)據(jù)收集階段,運(yùn)行在第三代英特爾至強(qiáng)可擴(kuò)展處理器上的3DAT技術(shù)就展現(xiàn)了大范圍的特點(diǎn),依賴于先進(jìn)的AI算法,只需要兩部拍攝設(shè)備就能準(zhǔn)確地捕捉1800㎡花滑場(chǎng)地里運(yùn)動(dòng)員的動(dòng)作細(xì)節(jié),這讓3DAT設(shè)備的部署變得非常容易。
更為重要的是數(shù)據(jù)的采集不需要目標(biāo)人群穿戴任何傳感器,這讓我們大量收集老百姓和花滑選手的數(shù)據(jù)信息成為了可能。英特爾把這些海量花滑運(yùn)動(dòng)的視頻圖像數(shù)據(jù),通過(guò)3DAT技術(shù)生成三維人體運(yùn)動(dòng)數(shù)據(jù),AI模型通過(guò)學(xué)習(xí)這些三維數(shù)據(jù)可以獲得人體運(yùn)動(dòng)的先驗(yàn)常識(shí)。英特爾設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)具備從粗到精漸進(jìn)式的學(xué)習(xí)能力,先學(xué)習(xí)人體的宏觀特征,然后是局部動(dòng)作細(xì)節(jié)的學(xué)習(xí)。另外模型具備很強(qiáng)的糾錯(cuò)能力,通過(guò)嵌入人體運(yùn)動(dòng)先驗(yàn)常識(shí),AI模型能夠穩(wěn)定預(yù)測(cè)輸出正確的三維姿態(tài),保證節(jié)目效果。
除了在演出中的創(chuàng)新應(yīng)用,英特爾3DAT三維運(yùn)動(dòng)員追蹤技術(shù)也被應(yīng)用于運(yùn)動(dòng)員的日?茖W(xué)訓(xùn)練。
英特爾3DAT早已應(yīng)用在中國(guó)速度滑冰隊(duì)、越野滑雪隊(duì)、鋼架雪車隊(duì)的運(yùn)動(dòng)員訓(xùn)練中,用科技手段助力這些項(xiàng)目的運(yùn)動(dòng)員不斷突破。
3DAT把先進(jìn)的人工智能和計(jì)算機(jī)視覺(jué)運(yùn)動(dòng)追蹤能力從實(shí)驗(yàn)室?guī)У搅梭w育競(jìng)技。這一解決方案利用攝像機(jī)拍攝運(yùn)動(dòng)員進(jìn)行訓(xùn)練的過(guò)程,而運(yùn)動(dòng)員不必佩戴傳感器等影響運(yùn)動(dòng)效果的裝備,系統(tǒng)將視頻數(shù)據(jù)發(fā)送到云端,在內(nèi)置英特爾深度學(xué)習(xí)加速技術(shù)的第三代英特爾至強(qiáng)可擴(kuò)展處理器上進(jìn)行分析,直接通過(guò)人工智能計(jì)算機(jī)視覺(jué)算法,從視頻源中,提取運(yùn)動(dòng)員的關(guān)鍵骨骼點(diǎn)信息、身體關(guān)鍵部位的姿態(tài)、運(yùn)動(dòng)軌跡和位置信息等,并進(jìn)行三維重建。在三維模型重建的同時(shí)生成生物力學(xué)數(shù)據(jù),輸出精準(zhǔn)的運(yùn)動(dòng)表現(xiàn)分析。這些數(shù)據(jù)及分析可以幫助教練員制定科學(xué)正確的訓(xùn)練方法,為運(yùn)動(dòng)員的日常訓(xùn)練提供切實(shí)有用的技術(shù)支持。
打破時(shí)空的極致冬奧“元宇宙”體驗(yàn)
如果說(shuō)去年哪個(gè)詞最火,元宇宙(Metaverse)肯定是首選。元宇宙(Metaverse)是利用科技手段進(jìn)行鏈接與創(chuàng)造的,與現(xiàn)實(shí)世界映射與交互的虛擬世界,具備新型社會(huì)體系的數(shù)字生活空間。元宇宙本質(zhì)上是對(duì)現(xiàn)實(shí)世界的虛擬化、數(shù)字化過(guò)程,需要對(duì)內(nèi)容生產(chǎn)、經(jīng)濟(jì)系統(tǒng)、用戶體驗(yàn)以及實(shí)體世界內(nèi)容等進(jìn)行大量改造。
在本屆冬奧會(huì)上,英特爾聯(lián)手合作伙伴打造的運(yùn)行在第三代英特爾至強(qiáng)可擴(kuò)展處理器上的VSS數(shù)字孿生場(chǎng)館模擬仿真服務(wù),通過(guò)虛擬現(xiàn)實(shí)、人工智能、計(jì)算機(jī)圖形學(xué)等相關(guān)前沿技術(shù),將北京冬奧會(huì)的12個(gè)競(jìng)賽場(chǎng)館、3個(gè)奧運(yùn)村、主媒體中心進(jìn)行數(shù)字化、動(dòng)態(tài)化、三維化,提供場(chǎng)館內(nèi)、外及活動(dòng)元素的精準(zhǔn)仿真,用孿生的虛擬三維世界輔助現(xiàn)實(shí)世界的運(yùn)行,讓工作人員可以在虛擬世界中如同身臨其境地高效協(xié)同辦公。
英特爾VSS數(shù)字孿生場(chǎng)館模擬仿真服務(wù)讓運(yùn)營(yíng)者們無(wú)需親臨現(xiàn)場(chǎng),在多終端就可以操作系統(tǒng),各個(gè)領(lǐng)域的運(yùn)營(yíng)者們可以在同一個(gè)三維世界中,實(shí)現(xiàn)場(chǎng)館空間規(guī)劃、運(yùn)行設(shè)計(jì)及細(xì)節(jié)管理。
無(wú)論是前期的3D建模,還是將三維世界推送到PC、PAD等終端,再到多端協(xié)同工作,英特爾強(qiáng)大的計(jì)算力、軟件及AI能力都起到了至關(guān)重要的作用;诘谌⑻貭栔翉(qiáng)可擴(kuò)展處理器,強(qiáng)大的性能確保了3D建模、渲染的效率,同時(shí)全面優(yōu)化多樣工作負(fù)載,不僅實(shí)現(xiàn)了便捷的遠(yuǎn)程協(xié)作,而且讓整個(gè)系統(tǒng)的管理更為便捷。英特爾OneAPI及基于至強(qiáng)的AI開(kāi)發(fā)套件,大大提升了3D重構(gòu)的速度。英特爾Media SDK視頻壓縮與編解碼技術(shù),確保信號(hào)推流到終端時(shí),在不同終端上的顯示都精準(zhǔn)、一致。
轉(zhuǎn)播,是所有大型國(guó)際賽事的重中之重。在觀眾收看體驗(yàn)方面,英特爾用于廣播行業(yè)的8K 360度VR技術(shù)平臺(tái)是以第三代英特爾至強(qiáng)可擴(kuò)展平臺(tái)為基礎(chǔ)的創(chuàng)新,通過(guò)與相關(guān)轉(zhuǎn)播商合作,為觀眾提供更清晰更實(shí)時(shí)更沉浸的遠(yuǎn)程觀賽體驗(yàn)。由于現(xiàn)場(chǎng)多臺(tái)VR錄像設(shè)備的部署,觀眾可以通過(guò)VR頭顯、手機(jī)和PC等各種尺寸的屏幕觀看冬奧比賽,自由選擇不同的視角進(jìn)行觀賽,獲得360度高清全景觀賽畫(huà)面。獨(dú)特的沉浸式體驗(yàn)和強(qiáng)烈的現(xiàn)場(chǎng)感,使觀眾可以如身臨其境般感受現(xiàn)場(chǎng)的氣氛。它將觀眾迅速帶入賽事場(chǎng)景,與運(yùn)動(dòng)員在一起,更極致地分享體育精神與勝利時(shí)刻。
8K直播必須依靠高性能的視頻編碼。英特爾SVT(Scalable Video Technology)可擴(kuò)展視頻軟件技術(shù),其三維度優(yōu)化,尤其是在時(shí)域(前后幀的依賴關(guān)系)、空域(畫(huà)面中的不同部分)和編碼流程上可實(shí)現(xiàn)了并行化,可以將視頻編碼任務(wù)靈活的分配到第三代英特爾至強(qiáng)可擴(kuò)展處理器上,并且對(duì)AVX-512高級(jí)矢量擴(kuò)展指令集做了專門(mén)的優(yōu)化。實(shí)現(xiàn)延遲和視覺(jué)質(zhì)量的最佳平衡。通過(guò)SVT的高效處理和編碼,在不改變畫(huà)質(zhì)的情況下,8K視頻碼率可以顯著性降低,有效緩解網(wǎng)絡(luò)傳輸帶寬壓力,滿足通過(guò)5G或IPTV實(shí)時(shí)收看的條件。
根據(jù)360全景視頻特點(diǎn),特定時(shí)刻的用戶視角通常只占據(jù)全部圖像中一小部分區(qū)域,如果對(duì)全景圖像進(jìn)行8K的傳輸和解碼,會(huì)造成了極大的網(wǎng)絡(luò)和計(jì)算資源的浪費(fèi)。英特爾開(kāi)放視覺(jué)云的OVC360技術(shù)采用“tiled”瓦片化的視頻處理方式,也就是將圖像切分成若干“瓦片”進(jìn)行傳輸,只當(dāng)客戶端旋轉(zhuǎn)視角時(shí),可以自主從云端獲取對(duì)應(yīng)視角的視頻內(nèi)容進(jìn)行渲染,傳輸觀眾看到的部分。這樣既減輕了對(duì)觀眾設(shè)備的要求,又可將傳輸8K 360度直播所需的帶寬大大降低,避免延時(shí)/卡頓,確保視頻的流暢及高質(zhì)量播放,實(shí)現(xiàn)2K的設(shè)備8K的體驗(yàn)。
除了上面提到的創(chuàng)新技術(shù)應(yīng)用,英特爾還在北京冬奧會(huì)(冬殘奧會(huì))運(yùn)動(dòng)員娛樂(lè)中心基于5G+邊緣計(jì)算技術(shù)(MEC)解決方案,打造了獨(dú)具創(chuàng)新科技的沉浸式體驗(yàn)內(nèi)容。
在通勤方面,英特爾子公司Mobileye在超過(guò)500輛為運(yùn)動(dòng)員、技術(shù)官員、媒體等提供的公交大巴上搭載了Mobileye 8以及專為城市大型車輛設(shè)計(jì)的Shield+4。這些能夠?qū)崟r(shí)發(fā)出警告的人工智能安全系統(tǒng),利用計(jì)算機(jī)視覺(jué)技術(shù),扮演輔助駕駛角色,持續(xù)掃描前方路面,一旦行人或騎車人進(jìn)入危險(xiǎn)區(qū)域,系統(tǒng)會(huì)實(shí)時(shí)發(fā)出視覺(jué)和聲音警報(bào),提醒司機(jī)采取行動(dòng)。
結(jié)語(yǔ)
是體育盛事,更是科技盛宴。
數(shù)字技術(shù)是未來(lái)全球產(chǎn)業(yè)發(fā)展的大勢(shì),其正在為體育產(chǎn)業(yè)帶來(lái)無(wú)限可能性。
本文章選自《數(shù)字化轉(zhuǎn)型方略》雜志,閱讀更多雜志內(nèi)容,請(qǐng)掃描下方二維碼
