第2期 2022/02/28
還在「問號臉」？科技陪你「看懂」冰雪賽事
冰雪運動曾是先民們賴以生存的技能，如今成了對人類極限的更徹底超越。
在極寒、極冷的條件下，完成空中翻騰、轉(zhuǎn)體、落地，加速、超越、沖刺等一系列高難度動作，在雪地上空和光滑冰面畫出一道道優(yōu)美弧線——這便是冰雪運動魅力。
剛剛閉幕的2022年北京冬奧會，讓我們認(rèn)識了谷愛凌、蘇翊鳴這樣的體育新生代，讓武大靖、徐夢桃、隋韓組合這些老將的名字變得廣為人知，同時，也讓更多「普通人」愛上了冰雪體育。
但是，對于大多數(shù)人來說，觀賽的過程除了高呼一聲「牛X」， 還有更多的時刻其實都是「問號臉」——什么是1620？什么是bFFF？什么是540抓板？——這些花樣百出的項目技巧名稱從解說員的嘴里傳到我們耳邊，就好像被消了音，剛想仔細(xì)看看運動員炫酷的空中動作，他們就已經(jīng)在高速狀態(tài)下落地。最后，留在腦子里的唯一信息，只有XXX拿了冠軍。
雖然冰雪賽事的觀賞性很強，「看不懂」比賽卻又令很多人對它的拒之門外。為此，在今年的冬奧會期間，百度智能云用一套「3D+AI」的組合技術(shù)搞定了這個難題。
「時空定格術(shù)」. 冠軍的「大招」輕松get
通過對同一個物體進(jìn)行多次拍攝，或者把多個不同物體拍攝在同一畫面，形成對象的有機(jī)合成，在攝影攝像中，這被稱為「多次曝光」。參照這一手法，百度呈現(xiàn)了一種全新的特技效果——叫做「時間切片」。
冰雪項目的得分高低往往取決于動作難度、速度和穩(wěn)度，而在高速狀態(tài)下，不只是大眾，哪怕專業(yè)的冰雪愛好者也很難憑借肉眼看清其中的技術(shù)細(xì)節(jié)。而為了看清，就要進(jìn)行「時空定格」。但另一個問題是，在體育比賽中，運動員的生物信息不允許被采集。
針對這些問題，百度智能云采用了「3D+AI」雙管齊下的技術(shù)路線——先做輪廓識別，由AI學(xué)習(xí)處理，然后進(jìn)行三維恢復(fù)和虛擬疊加呈現(xiàn)。
更形象來說，這就像是一個3D版的「頻閃照相機(jī)」，可以通過多次頻閃捕捉高速且連續(xù)的運動軌跡，然后把時序動作定格到360度的3D空間。再配上專業(yè)解說的技術(shù)分解，觀眾就可以非常直觀、全面地看懂選手的每一個動作細(xì)節(jié)和得扣分點，真正get到谷愛凌的1620到底有多颯。
與此同時，基于「3D+AI」打造的「同場競技」系統(tǒng)還能把不同選手的時序動作放到同一個畫面中，把單人賽事直接變成「多人比賽」，孰優(yōu)孰劣，也顯而易見。
而對于置身其中的運動員來說，當(dāng)所有動作都被量化，滑行速度、騰空高度、落地遠(yuǎn)度、旋轉(zhuǎn)角度等一系列運動數(shù)據(jù)和原始畫面疊加起來，就可以反復(fù)回看視頻的動作還原，以便及時發(fā)現(xiàn)技巧問題，并在賽后不斷完善動作細(xì)節(jié)。
可靠的技術(shù)呈現(xiàn)必然依賴于長期的技術(shù)積累。冰雪競技講求「快、穩(wěn)、準(zhǔn)、美、難」，這要求捕捉運動員畫面的「攝像機(jī)系統(tǒng)」更聰明、更快捷——比如，需要計算機(jī)對運動員比賽動作成千上萬次的學(xué)習(xí)，才能把人和滑雪板的輪廓精準(zhǔn)識別出來；需要高效的信息處理能力，才能保持在平均15秒內(nèi)把相關(guān)數(shù)據(jù)快速提取出來，以適應(yīng)比賽直播的快節(jié)奏——雖然技術(shù)難度不低，但百度智能云算是提交了一份漂亮的答卷。
即便是在疫情影響下，很多觀眾無法親臨今年的冬奧會現(xiàn)場，但是，借助于百度智能云的這一套「大動作」，觀眾們的遠(yuǎn)程觀賽體驗一點也沒有「減分」。
據(jù)了解，除了對運動員進(jìn)行「虛擬化」，為了給觀眾帶來極致沉浸式的「現(xiàn)場感」，百度智能云還利用虛擬現(xiàn)實技術(shù)對首鋼大跳臺進(jìn)行了三維重建和虛擬還原，打造除了1：1的場館3D 模型。
通過3D場景漫游的形式，觀眾可以從遠(yuǎn)景、全景、近景等多角度自由視角觀賞大跳臺，并且，還可以切換日景、夜景、水景等不同的視覺效果，周圍環(huán)境、跳臺弧度、賽道難度通通一覽無余。
「AI手語主播」. 殘障人士打開冬奧的專享方式
當(dāng)我們漫游于這樣一個特別的「虛擬賽場」時，還有2700多萬的聽障同胞也在透過百度的「黑科技」領(lǐng)略著極限運動之美。
北京冬奧會期間，同樣由百度智能云打造的AI手語主播，在央視新聞?wù)健干蠉彙�，提�?4小時不間斷的手語服務(wù)。這給觀賽體驗提供了另一種打開方式，讓聽障人士也能融入感受冬奧的「速度與激情」，「看懂」體育賽事。
據(jù)了解，雖然現(xiàn)在很多賽事轉(zhuǎn)播都有字幕，但是由于聽覺與文字學(xué)習(xí)具有關(guān)聯(lián)性，很多聽障人士常常伴隨著文字閱讀障礙，手語對他們而言是更共情的語言表達(dá)。然而，相較于龐大的聽障人群，國內(nèi)具有專業(yè)手語翻譯資格的人員卻非常稀少。
數(shù)字人的出現(xiàn)，正在填補這樣的缺口。只不過在這個過程中，還有很多技術(shù)難題需要克服。比如，和日常的文本轉(zhuǎn)換、文本語音轉(zhuǎn)換不同，手語數(shù)字人需要經(jīng)過從語音到文本、從文本到手語符號、再到數(shù)字人動作轉(zhuǎn)換的漫長「養(yǎng)成」過程，才能蛻變出「聽得清、會翻譯、會表達(dá)」三大能力。這三個能力，在技術(shù)細(xì)節(jié)上分別對應(yīng)著三類AI模型——
其一，ASR語音識別模型技術(shù)，它解決的是「聽得清」的問題。據(jù)說基于這一模型，百度AI手語主播的翻譯準(zhǔn)確性能達(dá)到98%以上，并且無論是中英文混雜、生僻字還是方言，她都能搞定。在此前網(wǎng)上流傳的一個視頻中，百度AI手語主播就與央視段子手朱廣權(quán)「同臺」，面對專業(yè)人士的神級語速，她完全輕松「拿捏」；
其二，手語翻譯模型，它解決的是「會翻譯」的問題，而且是精準(zhǔn)的信息凝練和低時延的翻譯效果。據(jù)說為了做到足夠的精準(zhǔn)和精簡，百度團(tuán)隊堅持選擇了「自然手語語料」，并聯(lián)手天津理工大學(xué)請來了上百位聽障學(xué)生對語料進(jìn)行數(shù)據(jù)標(biāo)注，從而保障算法背后的數(shù)據(jù)的高質(zhì)量和可靠性。在此基礎(chǔ)上，再結(jié)合百度積累多年的神經(jīng)網(wǎng)絡(luò)翻譯技術(shù)，團(tuán)隊設(shè)計了從中文文本到手語符號的翻譯方法，并對模型進(jìn)行了反復(fù)訓(xùn)練，在不到兩個月時間里，進(jìn)行了6次大版本迭代，最終使得手語翻譯的可懂度達(dá)到了85%以上；
其三，動作生成模型，它解決的是「會表達(dá)」的問題，即關(guān)于手勢、口型和表情的塑造。拿手勢問題來說，百度運用了人體動作的視覺識別技術(shù)，也就是通過機(jī)器學(xué)習(xí)手語視頻，再由二維骨骼點轉(zhuǎn)化驅(qū)動三維數(shù)字人的動作表達(dá)。而在口型和表情方面，百度智能云則首創(chuàng)了4D掃描數(shù)據(jù)進(jìn)行訓(xùn)練的方法，通過對超10萬個全身多邊形面、超1萬個臉部面、超240個面部表情行變基、超100個身體骨骼節(jié)點的掃描，不僅能讓數(shù)字人做出微笑、開心笑、甚至是wink、白眼等表情，口型生成的準(zhǔn)確度還超過了98.5%。
「AI訓(xùn)練系統(tǒng)」. 「夢之隊」背后的「神秘人」
事實上，這并不是百度的「黑科技」第一次應(yīng)用在體育賽場，或者更確切來說，這并不是它第一次出現(xiàn)在奧運賽場。
早在去年的東京夏季奧運會期間，百度智能云就已經(jīng)大顯身手，為我們的跳水「夢之隊」量身定制了一套「3D+AI」跳水輔助訓(xùn)練系統(tǒng)。
跳水和冰雪項目由很多共同之處，比如速度快、技巧復(fù)雜等等。運動員從起跳到落水，一般只有短短的2秒鐘，甚至更短。所以，在傳統(tǒng)訓(xùn)練過程中，教練幫運動員摳動作細(xì)節(jié)必須要「眼力驚人」。
為此，百度智能云為中國跳水隊的賽前訓(xùn)練打造了國內(nèi)首個「云-邊-端」軟硬一體的 AI 輔助訓(xùn)練系統(tǒng)。通過攝像機(jī)采集跳水畫面，然后利用三維視覺技術(shù)和AI分析，對訓(xùn)練視頻進(jìn)行摘要、動作抽取、姿勢糾正等處理，快速歸納整理——如此一來，就可以把運動員幾秒鐘內(nèi)的復(fù)雜動作，進(jìn)行精準(zhǔn)的量化評估，并比照完美動作智能打分，直觀地呈現(xiàn)給教練和運動員。
和肉眼相比，這個系統(tǒng)就像是一個「火眼金睛」+「最強大腦」。高速攝像機(jī)一秒鐘能拍幾萬張照片，而且能360度全方位采集畫面，3秒鐘內(nèi)立即反饋給教練，從而提高運動員的訓(xùn)練效率和效果。并且，即使在教練員出差的情況下，也能在線看到現(xiàn)場訓(xùn)練情況，遠(yuǎn)程給運動員摳細(xì)節(jié)，不錯過每一次訓(xùn)練指導(dǎo)。
據(jù)了解，該系統(tǒng)在經(jīng)過大量的數(shù)據(jù)分析后，將把教練和運動員的專業(yè)技能數(shù)字化，實現(xiàn)經(jīng)驗的分享和復(fù)用，不僅能推廣到省隊、市隊，甚至還能普及給普通的體育愛好者，讓更多人享受到國家隊教練的專業(yè)指導(dǎo)。
跳水隊之外，我國的另一個「夢之隊」也很快加入了AI訓(xùn)練之列。在去年年底剛剛舉行的百度Create2021大會上，前國家乒乓球領(lǐng)隊姚振緒、北京大學(xué)體育教研部副主任吳飛分享了與百度合作的「人工智能乒乓球動作定位與行為識別研究項目」。
在這個項目中，AI解決的是乒乓球動作速度快、隱蔽性強、回合數(shù)多的問題。過去，所有數(shù)據(jù)都只能由人工手動記錄和統(tǒng)計，非常耗費精力。而利用AI進(jìn)行大數(shù)據(jù)處理、智能分析、輔助決策，既可以提高效率，還能通過直觀的數(shù)據(jù)展現(xiàn)，為隊員的科學(xué)訓(xùn)練提供依據(jù)。
據(jù)了解，這套智能乒乓系統(tǒng)通過超500GB 比賽的標(biāo)準(zhǔn)訓(xùn)練數(shù)據(jù)集，目前已經(jīng)可以識別出是否發(fā)球、拉、擺短等8個大類動作。其中起止回合準(zhǔn)確率超過97%，動作識別也超過了80%。重點解決了隊員日常統(tǒng)計訓(xùn)練數(shù)據(jù)和優(yōu)化比賽裁決的問題。
「科技體育覺醒」. 故事剛剛開始
伴隨著「大雪花」中心的生活緩緩熄滅，北京冬奧會完美落下帷幕。在半個月的時間里，我們或許都深有感觸——體育賽事比任何時候都與科技走得更近。
轉(zhuǎn)而又想起2月初，在北京冬奧會正式開幕前的圣火傳遞階段，有一個特別的「火炬手」——它在全世界的見證下，沿著動力東街、五一劇場路、群明湖大街、五一劇場南路環(huán)繞了一圈，完成了火炬?zhèn)鬟f的任務(wù)——它不是人類，而是來自百度的Apollo 的汽車機(jī)器人。
作為一個縮影，這位「汽車人」的出現(xiàn)，預(yù)告式地向世界展示了北京冬奧會的「科技冬奧」理念。在之后的奧運比賽時間里，全世界接連不斷地見證著科技體育的覺醒。
其中，百度的一系列「黑科技」是無疑是搶眼的；與此同時，我們也相信，在體育賽場內(nèi)外，百度的故事還會繼續(xù)書寫。
本文章選自《數(shù)字化轉(zhuǎn)型方略》雜志，閱讀更多雜志內(nèi)容，請掃描下方二維碼
