你可曾記得20 世紀(jì) 80 年代每當(dāng)麥當(dāng)娜在她的巡回演唱會(huì)中每次奏響熱門歌曲“La Isla Bonita”時(shí)，她身后的巨大舞臺(tái)屏幕上就會(huì)播放出超現(xiàn)實(shí)的“夕陽(yáng)下云彩”的移動(dòng)圖像？

如今，如果也想“只需輸入文字”就能將你腦海中的景象轉(zhuǎn)變成視頻，其最簡(jiǎn)單的方法是通過(guò)Runway發(fā)布的從文本到視頻模型工具來(lái)制作視頻。

Runway AI 是來(lái)自紐約一家名為 Runway 的初創(chuàng)公司的基于人工智能的工具集合。在這些工具中，Runway Gen-1 是一個(gè) AI 視頻到視頻的 AI 生成器，通過(guò)現(xiàn)有視頻，將 AI 效果應(yīng)用于已有媒體。因此，需要提供一個(gè)基礎(chǔ)視頻供模型執(zhí)行其后續(xù)工作。而 Runway Gen-2 是一個(gè) AI 文本/圖像到視頻的生成器。不需提供任何視頻，它可以接受圖像或文本作為提示，并按照這些提示生成視頻。

憑空創(chuàng)作視頻最簡(jiǎn)單的方式就是用Gen-2通過(guò)提供一段文字，就可以為你生成一段視頻。

可以訪問(wèn)：https://runwayml.com/來(lái)體驗(yàn)這兩個(gè)模型，選擇相應(yīng)的模型輸入提示詞就可以根據(jù)需要修改的設(shè)置并生成你想要的視頻。

Runway提供了很多基于人工智能的編輯工具，包括：視頻到視頻（Gen-1）、文本/圖像轉(zhuǎn)視頻（Gen-2）、刪除背景、文字轉(zhuǎn)圖像、圖像到圖像、訓(xùn)練你自己的生成器、無(wú)限影像、展開(kāi)圖片、幀插值、擦除和替換、背景混音、圖像變化、3D捕捉、3D紋理、修復(fù)、顏色等級(jí) (LUT)、超慢動(dòng)作、模糊臉部、景深、場(chǎng)景檢測(cè)、提取深度、干凈的音頻、消除沉默等

今天，我們就用最簡(jiǎn)單的方式體驗(yàn)生成視頻這個(gè)功能。就拿我喜歡的一首歌做為示例，這首歌就是《You Raise Me Up》它鼓舞了許多暫時(shí)深處困境并無(wú)法自拔人。其旋律從舒緩到振奮，層層遞進(jìn)，讓人逐漸擺脫出當(dāng)前的悲傷與孤單，勇敢迎接必將光明的明天！

首先我們把要把這首歌詞變成Gen-2模型能理解的提示。如果你覺(jué)得這一步可能比較費(fèi)腦子的話，我們也可讓GPT-4來(lái)幫忙。GPT根據(jù)歌詞給出的提示詞是：

視頻開(kāi)始于一位疲憊、失落的人物獨(dú)自坐在寧?kù)o的自然環(huán)境中，四周被蔚藍(lán)的山巒和寬廣的海洋包圍。鏡頭慢慢拉近，捕捉到他的眼神中流露出的孤獨(dú)與憂郁。

畫(huà)面轉(zhuǎn)換，出現(xiàn)一個(gè)親切的人物靜靜地走到他身邊坐下，溫暖的手臂環(huán)繞著他的肩膀。這一舉動(dòng)帶來(lái)安慰和力量，他的眼神開(kāi)始顯露出希望和決心。

隨著音樂(lè)的升華，畫(huà)面展示這位人物站立起來(lái)，在他的親友的支持下，他開(kāi)始攀爬高山，勇敢地面對(duì)暴風(fēng)雨中的驚濤駭浪。鏡頭中，他從山頂望向遠(yuǎn)方，面對(duì)風(fēng)暴的海面，彰顯出內(nèi)心的力量和勇氣。

畫(huà)面再次轉(zhuǎn)變，展示他在親友的肩膀上看向更遠(yuǎn)的地方，似乎觸及了生命的極限。此時(shí)，畫(huà)面捕捉到他們共同的笑容，體現(xiàn)出相互支持和無(wú)私的愛(ài)。

最終畫(huà)面，隨著夕陽(yáng)的落下，他們一起在海邊行走，每個(gè)人的心中都有著不同的饑渴，但共同的體驗(yàn)讓他們感受到生活的完整和奇跡。隨著鏡頭的拉遠(yuǎn)，音樂(lè)緩緩降低，留下一種寧?kù)o而充滿希望的氛圍。

其英文：

The video begins with a weary, despondent individual sitting alone in a tranquil natural setting, surrounded by azure mountains and expansive seas. The camera slowly zooms in, capturing the loneliness and melancholy in his eyes.

The scene transitions to a kind figure quietly walking over and sitting beside him, with warm arms wrapping around his shoulders. This gesture brings comfort and strength, and hope and determination start to shine in his eyes.

As the music swells, the scene shows the individual standing up, with the support of his loved one, he begins to climb mountains and bravely faces the stormy seas. From the mountaintop, he looks into the distance, confronting the tempestuous ocean, demonstrating inner strength and courage.

The scene shifts again, showing him on the shoulders of his friend, looking toward even greater distances, seemingly reaching beyond the limits of life. At this moment, the camera captures their shared smiles, reflecting mutual support and selfless love.

In the final scene, as the sun sets, they walk together along the seaside, each with different yearnings in their heart, but the shared experience brings a sense of completeness and wonder to their lives. As the camera pulls away and the music slowly fades, a serene and hopeful atmosphere lingers.

這有5段文字，也就是需要用5個(gè)場(chǎng)景來(lái)呈現(xiàn)。所以我們需要一個(gè)場(chǎng)景一個(gè)場(chǎng)景的去生成。

注冊(cè)好進(jìn)入主頁(yè)面：

進(jìn)入Gen2模型頁(yè)面：

我們可以看到，它既可以根據(jù)你有的視頻資產(chǎn)生成視頻也可以通過(guò)文字，我們這次采用文字生成視頻。

插入第一段文字后就會(huì)生成第一個(gè)場(chǎng)景。模型會(huì)為你產(chǎn)生一段4S 的視頻。視頻會(huì)呈現(xiàn)在右側(cè)，生成好的視頻就可以下載并保存。

最后可以將5段生成好的視頻進(jìn)行拼接，或者再用Gen1模型繼續(xù)AI拓展、豐富，希望有興趣的讀者朋友們能繼續(xù)探索……

今天，生成視頻已十分簡(jiǎn)單、便捷，但人工智能生成的最長(zhǎng)視頻仍然是以秒計(jì)，經(jīng)常會(huì)出現(xiàn)抖動(dòng)動(dòng)作和明顯的缺陷：如扭曲的手和面部。相信隨著技術(shù)的不斷進(jìn)步，這些問(wèn)題會(huì)得到很好的改善。