
把大模型放進手機分幾步?小米給出自己的答案!

把大模型放進手機可不可行,很多業(yè)內(nèi)人士提出質(zhì)疑,認為運行大模型在手機上會面臨多個挑戰(zhàn)
有個腦筋急轉(zhuǎn)彎說,把大象放進冰箱需要幾步?
答:三步。
把冰箱門打開。
把大象放進去。
把冰箱門關(guān)上。
那么把大模型放進冰箱需要幾步?
答:四步。
把冰箱門打開。
把大象取出來。
把大模型放進去。
把冰箱門關(guān)上。
那么把大模型放進手機需要幾步?小米給出自己的答案!
我們知道AI大模型帶來的變革影響無需多言,可以讓每個人實現(xiàn)從不可能到可能。
你可以擁有一個專屬的“私人醫(yī)生”,提供健康咨詢問答、輔助就診前醫(yī)療決策;
你可以成為一個“烹飪大師”,為家人隨時享受一份美食;
你可以隨時出行,擁有一個“貼身翻譯官”,與多國外語者進行流暢交談;
你還可以變身“數(shù)字程序員”,根據(jù)自然語言描述的需求快速生成代碼片段;
還可以成為“寫作家”,通過AI大模型為你提供寫作靈感、提升寫作效率,讓你的寫作內(nèi)容更精彩。
當然要實現(xiàn)這些智能體驗,背后是大家熟知的AI三要素:算力、算法和數(shù)據(jù)。
當前談到大模型,首先想到的是成百上千的GPU服務(wù)器組成的算力底座。但是也有產(chǎn)業(yè)人士在思考,如何通過輕量化、智能設(shè)備等單個算力來實現(xiàn)大模型帶來的價值?
來源:小米
把大模型放進手機可不可行,很多業(yè)內(nèi)人士提出質(zhì)疑,認為運行大模型在手機上會面臨多個挑戰(zhàn):
首先是算力挑戰(zhàn),手機的處理器(CPU)和圖形處理器(GPU)的計算能力遠遠低于服務(wù)器級別的硬件。大模型通常需要大量的計算資源來進行預(yù)測和訓(xùn)練,以及超大內(nèi)存來存儲模型參數(shù)和中間計算結(jié)果。這樣看來,手機的計算單元和內(nèi)存單元的大小可能限制了大模型的運行。
其次是電池挑戰(zhàn),大模型的運行通常需要大量的計算資源和網(wǎng)絡(luò)資源,手機那點電量如何支撐運算,如何通過穩(wěn)定的網(wǎng)絡(luò)連接實現(xiàn)對云服務(wù)進行訓(xùn)練和更新。即使在支撐,也是對手機電池的壽命造成大大影響。
第三是用戶體驗挑戰(zhàn),不僅模型的運行可能會占用大量的手機資源,會影響到其他應(yīng)用的運行,同時大模型的效果是否能達到理想的效果也受到懷疑。
當然有挑戰(zhàn)就有機遇,如果把大模型運行在手機上,那么在算力成本上、隨時隨地處理信息、無需考慮網(wǎng)絡(luò)環(huán)境、交互體驗等方面又能實現(xiàn)質(zhì)的飛躍。因此在小米集團技術(shù)委員會AI實驗室主任王斌看來,端側(cè)大模型有其存在的必然性,也就是說把大模型跑在手機上其背后是用戶需求再驅(qū)動。
基于這樣的判斷在8月份,小米也推出了自研13億參數(shù)端側(cè)大模型MiLM,真正實現(xiàn)了把大模型塞到放在手機里的。
王斌認為針對AI大模型領(lǐng)域的發(fā)展趨勢和未來可能的形態(tài)來看,未來可能是一個混合體的狀態(tài),既有云端也有端側(cè),既有大模型,也有小模型。當前AI模型非常大,消耗的算力就會相應(yīng)增加,這導(dǎo)致了模型的資源代價非常高。因此,未來的發(fā)展一定是大模型和小模型共存的狀態(tài),甚至還包括通用模型和專用模型的共存。
這樣的混合狀態(tài)將形成一個共同的生態(tài),可以將用戶體驗做到極致。在這個混合狀態(tài)中,有些任務(wù)適合在云端完成,有些任務(wù)則適合在端側(cè)完成。為了實現(xiàn)這種共存狀態(tài),需要各種大小的模型去做不同的任務(wù)的策略。 因為除了通用能力之外,不同維度的小模型可能更適合于某一種任務(wù)。
以實時翻譯為例,“比如說我們在做一些同傳的時候,大家可以看到有一些產(chǎn)品其實它有一個延遲非常大的延遲,別人在講上一句話的時候咱還不能翻譯,等他講到下一句話,這個才翻譯出來,如果使用手機端的翻譯功能,可以保證非常強的實時性,幾乎可以做到同時翻譯。” 王斌在《Whats next科技早知道》節(jié)目中分享到。
來源:小米官網(wǎng)
小米能第一時間推出端側(cè)大模型,也是因為小米很早就布局AI領(lǐng)域的創(chuàng)新,早在2016年7月,AI視覺團隊共有40多項算法落地手機和AloT設(shè)備,代表性算法包括HDR、超級夜景、萬物追焦、文檔OCR等。 到2017年9月,小米AI實驗室涵蓋視覺、語音、聲學(xué)、NLP、機器學(xué)習(xí)、知識圖譜、大模型等方向,每年向集團各業(yè)務(wù)輸出300余項算法。2018年12月,AI 影像算法團隊在小米與徠卡合作及多幀降噪、夜景、抓拍、人像等特性中提供30多項核心技術(shù)。通過技術(shù)創(chuàng)新榮獲60余項專利。當2023年4月大模型團隊成立,2023年8月,小米自研6B語言大模型MiLM-6B在權(quán)威中文評測榜單C-EVAL和CMMLU中位列同等參數(shù)規(guī)模大模型第一。
來源:小米官網(wǎng)
王斌還分享了小米端側(cè)大模型的深層次原因,相對于Open AI、谷歌等AI能力非常強領(lǐng)頭企業(yè)。小米的AI策略更加務(wù)實,一切從用戶出發(fā),考慮廣大使用者的切實需求。在通用人工智能的發(fā)展過程中,小米可能會結(jié)合遙遠的探索和務(wù)實的策略,以提高用戶體驗。 最后,作者補充說,通用人工智能的理解在專家和用戶之間存在差異,對于學(xué)術(shù)界來說,通用人工智能的實現(xiàn)可能還很遙遠,雖然現(xiàn)在的大模型已經(jīng)出現(xiàn)了一些通用人工智能的曙光,但其挑戰(zhàn)和難度仍然非常大。
我們看到,雖然當前大部分的大模型都運行在云端,然而,小米等手機廠商公司基于端側(cè)的大模型也有其相對優(yōu)勢。一方面,這些公司擁有大量的設(shè)標準化的智能設(shè)備,這些設(shè)備的計算能力相對于過去已經(jīng)有了指數(shù)級的提升。另一方面,大量調(diào)用云端算力會帶來巨大的成本,同時還需要考慮到用戶隱私和網(wǎng)絡(luò)情況。因此,手機廠商會考慮將大部分能力移植到端側(cè),以提高用戶體驗并節(jié)省成本。 然而,這其中的挑戰(zhàn)也非常大。大模型本身由于其龐大的規(guī)模,能體現(xiàn)出強大的通用能力。因此,如何在云端和端側(cè)之間找到一個平衡,是一個需要解決的問題。
當然針對這些挑戰(zhàn),目前端側(cè)大模型廠商在部署上也在采取了相關(guān)的策略,包括使用輕量級模型架構(gòu),實現(xiàn)了在設(shè)計時就考慮到了計算效率和模型大小。通過模型壓縮技術(shù),可以減小模型的大小,降低模型的計算需求,使其能夠在手機上運行。
還可以結(jié)合分布式計算和邊緣計算,將一部分計算任務(wù)放在邊緣服務(wù)器上,以及將模型的計算任務(wù)分散到多個手機上,減輕單個設(shè)備的計算負擔。
作為AI領(lǐng)域的實踐者,要對AI的邊界和其對產(chǎn)品和生活的改變有清晰的認識。當前AI在社會和工業(yè)界還未發(fā)揮出預(yù)想的能力,但是未來十年, AI是一個能夠撬動整個社會變革的非常重要的力量。小米作為一個產(chǎn)品驅(qū)動的公司,產(chǎn)品迭代速度快,技術(shù)跟進也很快。AI對小米的幫助,不僅僅是錦上添花或者提高效率,而是作為基礎(chǔ)設(shè)施,對整個公司的賦能是全面的。
“我可以很自信的說,我們在AI上的投入,以及我們在 AI上取得的一些成績還是非常不錯的,因為小米是一個對用戶負責(zé)的公司,產(chǎn)品里面上了這是最好的技術(shù),即使是我們自己的技術(shù)也要去和所有的第三方PK才能夠真正進到我們的產(chǎn)品當中去。” 王斌最后表示。
本文章選自《數(shù)字化轉(zhuǎn)型方略》雜志,閱讀更多雜志內(nèi)容,請掃描下方二維碼
