11月3日，釘釘官宣AI魔法棒功能正式上線。

作為阿里系接入大模型的一個(gè)重量級(jí)應(yīng)用，釘釘AI魔法棒已經(jīng)在釘釘聊天、文檔、知識(shí)庫(kù)、腦圖、閃記、Teambition等17項(xiàng)產(chǎn)品、60+場(chǎng)景中開(kāi)放測(cè)試。

我們近日就其中應(yīng)用最多的聊天AI、文檔AI進(jìn)行了一系列應(yīng)用測(cè)試，感受了一下阿里大模型具體在協(xié)同辦公軟件中的應(yīng)用體驗(yàn)。

語(yǔ)意理解完整，有時(shí)也會(huì)“犯懶”

釘釘魔法棒是被直接作為一個(gè)功能模塊嵌入到釘釘頁(yè)面頂部，是實(shí)實(shí)在在以一個(gè)“魔法棒”的標(biāo)識(shí)出現(xiàn)的，在正式上線后，釘釘魔法棒已經(jīng)可以正常使用，不過(guò)，現(xiàn)在的釘釘AI魔法棒依然有明顯的「邀請(qǐng)測(cè)試」標(biāo)識(shí)。

由此可見(jiàn)，釘釘認(rèn)為這一功能還需要繼續(xù)進(jìn)化。

作為通過(guò)大模型提供基礎(chǔ)能力的產(chǎn)品，釘釘AI魔法棒首先是一個(gè)Chatbot。

在測(cè)試過(guò)程中，我們首先讓它回答了哲學(xué)三問(wèn)：你是誰(shuí)？從哪里來(lái)？到哪里去？

面對(duì)這樣一個(gè)看似簡(jiǎn)單的問(wèn)題，釘釘魔法棒能夠get到這三個(gè)問(wèn)題的字面意思，并給出一個(gè)相對(duì)正確的標(biāo)準(zhǔn)答案。

進(jìn)一步交流后，我們發(fā)現(xiàn)，釘釘魔法棒也有“犯懶”的時(shí)候，當(dāng)你問(wèn)它“釘釘這款軟件怎么樣”時(shí)，它會(huì)先給你一個(gè)簡(jiǎn)單的介紹，告訴你這是阿里旗下的企業(yè)協(xié)作平臺(tái)，擁有打卡簽到、審批、日志等一些功能。

但關(guān)于釘釘?shù)母�多功能介紹，則是會(huì)甩給你一份產(chǎn)品使用手冊(cè)，讓你自己查閱。

在一系列對(duì)話測(cè)試中，作為一個(gè)Chatbot，釘釘魔法棒已經(jīng)有了不錯(cuò)的理解能力和應(yīng)答能力，你可以讓它幫你推薦幾款好用的線上辦公軟件、也可以讓它給你規(guī)劃一個(gè)美國(guó)七日游的出行攻略，甚至可以讓它就一些軟件進(jìn)行簡(jiǎn)單的功能對(duì)比。

優(yōu)點(diǎn)是，釘釘魔法棒有問(wèn)必答，而且大多數(shù)情況能夠給出一些建議；缺點(diǎn)是，它目前給出的答案并不一定是最優(yōu)解，也不一定會(huì)有多詳細(xì)。

例如，釘釘魔法棒推薦的辦公軟件中，有一款軟件是“航天易辦公app”，我們并沒(méi)有在安卓手機(jī)應(yīng)用商城中找到這款軟件，顯然這款軟件很難說(shuō)是一款主流或好用的協(xié)作辦公軟件。

而在被問(wèn)及“飛書(shū)是不是比釘釘更好用”時(shí)，釘釘魔法棒也會(huì)指出，“釘釘界面比飛書(shū)稍有繁瑣，有一些廣告和推銷(xiāo)信息，如果用戶注重簡(jiǎn)潔無(wú)廣告，飛書(shū)確實(shí)更適合。”

作為測(cè)試版功能，釘釘也在生成的每個(gè)內(nèi)容后增加了評(píng)價(jià)反饋極致，如果你對(duì)生成的內(nèi)容不滿意，可以直接給差評(píng)，并從“內(nèi)容不匹配”、“內(nèi)容不完整”、“表達(dá)不合邏輯”、“存在事實(shí)性誤差”、“有敏感詞或觀點(diǎn)”五個(gè)選項(xiàng)中選出不滿意的原因。

由于接入了通義萬(wàn)相，釘釘魔法棒也具備文生圖功能，不過(guò)，這一功能在聊天AI功能中無(wú)法正常啟用，需要手動(dòng)切換到文檔AI功能中再使用。

依然有幻覺(jué)，辦公新助手

釘釘魔法棒的文檔AI功能，有點(diǎn)像微軟引入ChatGPT的word文檔，可以提供一些文生文、文生圖、文生表格等功能。

在文檔AI中，當(dāng)我們讓釘釘魔法棒“為以大模型為主要討論內(nèi)容的年會(huì)做一個(gè)半天的活動(dòng)策劃”時(shí)，它會(huì)自動(dòng)生成年會(huì)的各個(gè)環(huán)節(jié)設(shè)置，并就相應(yīng)環(huán)節(jié)做出一兩句話的簡(jiǎn)要介紹。

如果對(duì)生成的內(nèi)容不滿意，你可以通過(guò)“換一換”功能，讓釘釘魔法棒根據(jù)這個(gè)需求重新生成一個(gè)策劃。

根據(jù)半天活動(dòng)需求，釘釘魔法棒原本生成了8個(gè)環(huán)節(jié)，而且生成的“主題演講”和“主題論壇”環(huán)節(jié)上其實(shí)是重復(fù)的，除此以外，生成的其他內(nèi)容與主題演講內(nèi)容加起來(lái)，已經(jīng)遠(yuǎn)超出半天所能涵蓋的內(nèi)容。

因而，在文檔AI中通過(guò)釘釘魔法棒生成的內(nèi)容更多是為我們提供創(chuàng)意和思路，最終生成的內(nèi)容在應(yīng)用時(shí)還需要二次調(diào)整。

不過(guò)，為了測(cè)試釘釘魔法棒的AI能力，我們?cè)诖嘶�礎(chǔ)上也嘗試讓它“繼續(xù)寫(xiě)”了三次，最終它給出了20個(gè)環(huán)節(jié)，但其中生成的部分環(huán)節(jié)多有重復(fù)，這也是當(dāng)下生成式AI仍然存在的“幻覺(jué)”問(wèn)題的體現(xiàn)。

除此以外，“文生文”功能中，還可以對(duì)生成的內(nèi)容進(jìn)行諸如潤(rùn)色內(nèi)容、豐富內(nèi)容、精簡(jiǎn)內(nèi)容、改寫(xiě)語(yǔ)氣等調(diào)整，這些功能對(duì)于學(xué)生寫(xiě)論文或員工做匯報(bào)，尤其是文案創(chuàng)作者在改文案時(shí)，甲方提出諸如改語(yǔ)氣、豐富或精簡(jiǎn)內(nèi)容明確需求時(shí)，會(huì)有一定幫助。

隨后我們又讓釘釘魔法棒“根據(jù)前面的大模型年會(huì)制作一張議程表格”（流程經(jīng)調(diào)整），得到了如下圖右側(cè)的這張表格：

可以看到的，表格和流程并沒(méi)有完全對(duì)齊，而且生成的是一整天的活動(dòng)議程。

最后，我們還通過(guò)釘釘魔法棒為“大模型年會(huì)”生成了一張主題圖片，從而完成了這次“大模型年會(huì)”的文案策劃。

值得注意的是，釘釘為文檔AI加入了一個(gè)特別的“排版美化”功能，通過(guò)這一功能，你可以直接為你的word文檔套用釘釘事先制作好的幾個(gè)模板，來(lái)對(duì)內(nèi)容進(jìn)行整體美化。

小結(jié)

整體測(cè)試下來(lái)，我們有以下幾點(diǎn)感受：

1、釘釘魔法棒生成內(nèi)容的邏輯性已經(jīng)很不錯(cuò)，但對(duì)內(nèi)容的理解能力，尤其是隱喻、比喻等更深層含義的理解能力依然需要繼續(xù)優(yōu)化；

2、AI大模型正在改變內(nèi)容生產(chǎn)模式，新的內(nèi)容生產(chǎn)模式中，我們更多需要考慮的是如何提供精準(zhǔn)的提示詞，讓AI為你分擔(dān)重復(fù)、繁瑣的工作，例如擬一個(gè)年會(huì)流程、做一個(gè)簡(jiǎn)單的活動(dòng)策劃等；

3、現(xiàn)在AI生成的內(nèi)容更多是為我們提供框架和靈感，還做不到一步到位，給你一個(gè)完整的作品，因而現(xiàn)在的AI更多是被定義為copilot。

對(duì)于大多數(shù)人來(lái)說(shuō)，初次體驗(yàn)與AI合作會(huì)很吃力，不知道它的能力邊界在哪里，也不知道如何讓它為我們生成我們想要的內(nèi)容，但AI終究是大勢(shì)所趨，盡量將AI作為工具、融入工作中，是避免被AI代替最好的方式。