2023年被稱為“大模型”元年。

“你們有幾個(gè)AIGC用例了？”已成為CIO/CTO 們見面打招呼的“問候”語了。

以至于在業(yè)務(wù)中沒有采用ChatGPT或者還沒有開始規(guī)劃“大模型”用例的企業(yè)都不好意思說自己還在搞數(shù)字化轉(zhuǎn)型。

但其中的問題也是層出不窮。在規(guī)劃、開發(fā)“大模型”與業(yè)務(wù)場景的結(jié)合時(shí)遇到的問題可說是“誰用誰知道”。

大模型：數(shù)據(jù)治理尚起步，場景落地有難度

盡管企業(yè)的CIO們正加大對大模型的研發(fā)與投入，但仍要承擔(dān)相當(dāng)大的風(fēng)險(xiǎn)。某能源行業(yè)的CIO向至頂網(wǎng)記者表示：“大模型不同于其他的數(shù)字化轉(zhuǎn)型項(xiàng)目，有較為明確的投資、收益評價(jià)方式，實(shí)施路徑也較為明確。企業(yè)在研發(fā)大模型用例時(shí)，有一些關(guān)鍵環(huán)節(jié)還存在諸多挑戰(zhàn)。”

首先是模型選擇問題，市面上有上百種大模型可以選擇，大家的側(cè)重點(diǎn)不一樣，對于國有企業(yè)而言，會優(yōu)先考慮國內(nèi)開發(fā)的大模型，模型安全與數(shù)據(jù)安全是首要考慮的問題。

其次，訓(xùn)練數(shù)據(jù)的質(zhì)量與行業(yè)的知識積累問題。能源行業(yè)產(chǎn)業(yè)鏈相對較長，數(shù)據(jù)治理剛剛起步，各個(gè)環(huán)節(jié)的數(shù)據(jù)收集、整理是一個(gè)復(fù)雜過程，數(shù)據(jù)的多樣性、異構(gòu)性的問題較為嚴(yán)重，不同數(shù)據(jù)設(shè)備、傳感器也會產(chǎn)生大量異常數(shù)據(jù)，以及數(shù)據(jù)漂移、數(shù)據(jù)誤差導(dǎo)致的數(shù)據(jù)一致性問題仍然嚴(yán)重。行業(yè)知識積累的數(shù)據(jù)數(shù)量尚不充足與完備。

第三、大模型幻覺問題仍是一個(gè)嚴(yán)重風(fēng)險(xiǎn)。因此現(xiàn)階段開發(fā)的用例還只能在小范圍試點(diǎn)，尚不能形成規(guī)模效益。

同樣的問題也困擾著其他行業(yè)的CIO和實(shí)踐者。為此我們采訪到了新華三集團(tuán)數(shù)字中國研究院常務(wù)副院長李飛為我們答疑解惑。

新華三集團(tuán)數(shù)字中國研究院常務(wù)副院長李飛

大模型：不能只求“大”，更要追求“準(zhǔn)”

李飛認(rèn)為，企業(yè)在選擇“大模型”上應(yīng)重點(diǎn)關(guān)注模型大小和復(fù)雜度、訓(xùn)練數(shù)據(jù)量以及模型精度和穩(wěn)定性這幾個(gè)關(guān)鍵指標(biāo)。

他指出：“模型大小和復(fù)雜度是重要的指標(biāo)。它會直接影響到模型的訓(xùn)練速度、內(nèi)存需求以及部署的難度。一般來說，模型越大，復(fù)雜度越高，模型的性能可能也會更好，但同時(shí)也需要更多的計(jì)算資源和時(shí)間來進(jìn)行訓(xùn)練和部署。”

訓(xùn)練的數(shù)據(jù)規(guī)模是另一關(guān)鍵指標(biāo)。“因?yàn)樗鼤�影響到模型的泛化能力和性能。如果模型�?xùn)練的數(shù)據(jù)量足夠大，數(shù)據(jù)的質(zhì)量足夠好，那么模型就可以學(xué)習(xí)到更多的樣本特征和規(guī)律，從而獲得更好的性能，從而生成的內(nèi)容也更貼合實(shí)際，更準(zhǔn)確。”

模型精度和穩(wěn)定性是企業(yè)關(guān)注的重要指標(biāo)。這兩個(gè)指標(biāo)將直接影響到預(yù)測效果和實(shí)際應(yīng)用。一般來說，經(jīng)過充分訓(xùn)練的大模型可以獲得更高的精度和更穩(wěn)定的性能，但同時(shí)也需要更多的計(jì)算資源和時(shí)間來進(jìn)行訓(xùn)練和驗(yàn)證。

因此李飛認(rèn)為企業(yè)在選擇和使用大模型時(shí)，需要根據(jù)具體的應(yīng)用場景和需求來選擇合適的模型，并進(jìn)行充分的訓(xùn)練和驗(yàn)證。

Token是概率，消除幻覺靠訓(xùn)練和對齊

企業(yè)時(shí)常擔(dān)心大模型的“幻覺”。大模型幻覺，簡而言之就是大模型“一本正經(jīng)地胡說八道”。李飛解釋道：“大模型幻覺是模型生成的內(nèi)容與現(xiàn)實(shí)世界事實(shí)或用戶期望不一致的現(xiàn)象。其本質(zhì)原理是大模型并沒有像人一樣理解了問題和答案，而是基于概率的 token by token 的形式產(chǎn)生的回答。”

“此外，還存在隱私保護(hù)安全，大模型可能會在未得到用戶許可的情況下收集、使用或泄露個(gè)人信息；在價(jià)值觀對齊問題上，由于人類社會的價(jià)值觀多元化，如何確保AI的行為與設(shè)計(jì)者的期望一致是一個(gè)難題；在技術(shù)安全問題上，如模型遭受黑客攻擊、訓(xùn)練數(shù)據(jù)受到污染或篡改；內(nèi)容安全方面：涉及生成的內(nèi)容（如文本、圖像）是否符合道德、法規(guī)以及其被惡意使用的風(fēng)險(xiǎn)。”

“數(shù)據(jù)質(zhì)量差是致使它產(chǎn)生幻覺的一大原因。其中也包括數(shù)據(jù)缺陷、數(shù)據(jù)中捕獲的事實(shí)知識利用率低等問題。除了數(shù)據(jù)，訓(xùn)練過程也會使大模型產(chǎn)生幻覺。主要是預(yù)訓(xùn)練階段（大模型學(xué)習(xí)通用表示并獲取世界知識）、對齊階段（微調(diào)大模型使其更好地與人類偏好一致）兩個(gè)階段產(chǎn)生問題。”

避免大模型的幻覺應(yīng)從算力、數(shù)據(jù)、新技術(shù)三個(gè)方面來解決。李飛認(rèn)為：“參數(shù)量的增加，會讓大模型的能力提升，但目前大模型的參數(shù)量正以三四個(gè)月翻番的速度增長。因此，計(jì)算能力很快會跟不上模型的發(fā)展需求，因此對計(jì)算力的需求、高品質(zhì)網(wǎng)絡(luò)的需求與日俱增，需要加快算力、網(wǎng)絡(luò)品質(zhì)的提升，包括調(diào)度的提升。”

此外，優(yōu)質(zhì)訓(xùn)練數(shù)據(jù)的增加，也會讓大模型的能力提升。隨著大模型發(fā)展走向深度，要訓(xùn)練出滿足產(chǎn)業(yè)需求、精度極高的垂直行業(yè)模型，一定需要更多的行業(yè)專業(yè)知識，以及企業(yè)私域數(shù)據(jù)。

最后，要解決大模型幻覺問題，就需要發(fā)展新的顛覆性技術(shù)，來突破結(jié)構(gòu)化信息、陳述性事實(shí)、長鏈條推理、深度語義理解等方面遇到的瓶頸。

針對內(nèi)容安全，可通過內(nèi)置安全限制提示詞和出入內(nèi)容過濾攔截功能，可對所有場景下大模型生成內(nèi)容進(jìn)行安全性限制，為用戶信息和數(shù)據(jù)安全保駕護(hù)航。從信息安全的角度看，新華三百業(yè)靈犀（LinSeer）私域大模型具有行業(yè)專注、區(qū)域?qū)�屬、�?shù)據(jù)專有、價(jià)值專享的特征，數(shù)據(jù)專有確保To B、To G數(shù)據(jù)專有不出域、可用不可見，幫助客戶以私有數(shù)據(jù)訓(xùn)練訂制化的人工智能，建設(shè)最“放心”的私域大模型。

為了實(shí)現(xiàn)價(jià)值對齊，研發(fā)人員需要在模型層面讓人工智能理解、遵從人類的價(jià)值、偏好和倫理原則，盡可能地防止模型的有害輸出以及濫用行為，從而打造出兼具實(shí)用性與安全性的AI大模型。例如，人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）要求人類訓(xùn)練員對模型輸出內(nèi)容的適當(dāng)性進(jìn)行評估，并基于收集的人類反饋為強(qiáng)化學(xué)習(xí)構(gòu)建獎勵(lì)信號，以實(shí)現(xiàn)對模型性能的改進(jìn)優(yōu)化。

多維度評價(jià)大模型，才能找到適合的大模型

企業(yè)要研發(fā)、訓(xùn)練出能用、好用的大模型首先要有一個(gè)合理的評價(jià)體系。

以新華三的私域大模型百業(yè)靈犀（LinSeer）為例。李飛表示：“今年百業(yè)靈犀剛通過了中國信通院組織的大規(guī)模預(yù)訓(xùn)練模型標(biāo)準(zhǔn)符合性驗(yàn)證，模型開發(fā)模塊被評為4+，達(dá)到國內(nèi)先進(jìn)水平。”

“此次評測在數(shù)據(jù)管理、模型訓(xùn)練、模型管理、模型部署、開發(fā)流程一體化五個(gè)功能模塊展開了全方位、多維度測評。”如此看來，性能評測確實(shí)是對模型評估的重要方面之一，目的是為了確定模型的效率和資源消耗情況，以便優(yōu)化模型的性能。這類評測可以從多角度進(jìn)行，會涉及訓(xùn)練時(shí)間、推理時(shí)間、內(nèi)存占用等諸多方向，但其中以模型大小與復(fù)雜度、訓(xùn)練數(shù)據(jù)量以及精度穩(wěn)定性等為關(guān)鍵指標(biāo)。”

具體來說，大模型的大小以及復(fù)雜度會直接影響到訓(xùn)練速度、內(nèi)存需求以及部署的難度。一般來說，模型越大復(fù)雜度越高，模型的性能可能也會更好，但同時(shí)也需要更多的計(jì)算資源和時(shí)間來進(jìn)行訓(xùn)練和部署；而訓(xùn)練數(shù)據(jù)量則會直接影響到模型的泛化能力和性能，也可以理解為如果模型訓(xùn)練的數(shù)據(jù)量足夠大，數(shù)據(jù)的質(zhì)量足夠好，模型就可以學(xué)習(xí)到更多的樣本特征和規(guī)律，從而獲得更好的性能，進(jìn)而生成的內(nèi)容也更貼合實(shí)際，更準(zhǔn)確。大模型的精度和穩(wěn)定性也是關(guān)鍵指標(biāo)之一，因?yàn)橹苯佑绊懙侥Ｐ偷念A(yù)測效果和實(shí)際應(yīng)用。一般來說，經(jīng)過充分訓(xùn)練的大模型可以獲得更高的精度和更穩(wěn)定的性能。

因此評價(jià)大模型的能力，可以從算法模型能力、場景通用能力、安全能力和平臺能力這幾方面入手：算法模型能力是衡量一個(gè)模型本質(zhì)性能的重要標(biāo)準(zhǔn)，直接關(guān)系到能否完成預(yù)設(shè)任務(wù)以及完成的效果如何，可以說強(qiáng)大的算法模型能力是模型性能優(yōu)秀的基石。

而場景通用能力則是指模型對于各類場景問題的處理能力。“如果一個(gè)模型只能在特定的任務(wù)或者領(lǐng)域內(nèi)表現(xiàn)優(yōu)秀，但在其他任務(wù)或者領(lǐng)域內(nèi)則表現(xiàn)很差，我們可以認(rèn)為這個(gè)模型的通用能力較弱。衡量模型通用能力的方式是在多個(gè)不同任務(wù)或領(lǐng)域內(nèi)應(yīng)用模型，觀察模型的表現(xiàn)如何。”李飛這樣表示。

此外，平臺能力主要是考察模型的效率、擴(kuò)展性以及穩(wěn)定性。對于大模型來說，如何在保證性能的同時(shí)提高效率、可擴(kuò)展性和穩(wěn)定性，一直是個(gè)重要問題，這個(gè)方向就可以側(cè)重考察大模型處理大數(shù)據(jù)的能力，模型的訓(xùn)練和預(yù)測速度，以及在高并發(fā)情況下的穩(wěn)定性。對于模型的使用者來說，模型的安全性也是至關(guān)重要的，安全性的評估可以看到模型在面對惡意攻擊時(shí)的全面表現(xiàn)。

未來，大模型會走向何方？

如今，大模型在實(shí)際應(yīng)用中遇到最多的問題是什么？無非是不斷增長的參數(shù)量、硬件資源需求以及持續(xù)激增的能耗壓力所帶來的行業(yè)落地困境。在行業(yè)應(yīng)用中，大模型應(yīng)用往往不是單一的物體檢測、語音識別、文字識別等場景，而是集合了多種場景的綜合體，在實(shí)際落地時(shí)需要結(jié)合具體場景做針對性的算法調(diào)整和應(yīng)用處理，所以合適的落地工具選擇將有效規(guī)避大模型與應(yīng)用場景的割裂，打通模型到業(yè)務(wù)場景需求的通道，實(shí)現(xiàn)應(yīng)用場景的拓展和衍生，而未來，這一項(xiàng)則是引領(lǐng)大模型發(fā)展的重要所在。

對于大模型的未來，李飛認(rèn)為：“我們其實(shí)還要關(guān)注模型大小的合理化，畢竟AI大模型的大小需要平衡算力和能耗的開支，應(yīng)選擇適合行業(yè)特點(diǎn)以及業(yè)務(wù)特點(diǎn)的大模型進(jìn)行私域部署。”

“而伴隨AIGC的持續(xù)火熱，通過區(qū)分AIGC業(yè)務(wù)應(yīng)用場景勢必可加速推動人工智能產(chǎn)業(yè)的落地應(yīng)用，大模型發(fā)展也將被大大助力。當(dāng)然，越發(fā)被重視的內(nèi)容安全合規(guī)，例如通過建立內(nèi)容輸入防護(hù)、模型本身防護(hù)以及內(nèi)容輸出防護(hù)為一體的內(nèi)容安全體系，以及高效的數(shù)據(jù)治理能力加強(qiáng)行業(yè)數(shù)據(jù)的沉淀等，也都將成為發(fā)展中不可或缺的核心內(nèi)容。”