AI能“生”萬物嗎？

Sora誕生半年后，它的“挑戰(zhàn)者”紛至沓來，連“等不及”又“追不上”的英偉達也親自下場。

迄今為止，Sora依舊只釋放小樣、未開放使用，而快手可靈、智譜清影、Vidu已率先打開體驗大門，走向大眾。

盡管“一鍵生成”的初體驗稱不上完美，卻攪動了內容產業(yè)的一池春水。身邊不少微短劇、廣告、動畫已經開始用上AI這個“效率搭子”。人工智能生成技術，從前不久的文生圖，到如今的文生視頻、圖生視頻、視頻生成視頻，“AIGC宇宙”不斷擴張。

AI，是華夏神話里的“神筆馬良”嗎？它能讓多少想象力、創(chuàng)造力活起來、動起來？

“文生視頻”，如何“生”

“文生視頻是一顆重磅炸彈?！卑肽陙?，從大廠到獨角獸的Sora復現(xiàn)潮無一不在說明產業(yè)界對“生成”的重視。

視頻生成，簡言之是通過生成式人工智能技術，將文本、圖片等多模態(tài)輸入，轉化為視頻信號。

當前，視頻生成的技術路線主要有兩種。一種是擴散模型，其中又分為兩類，一類是基于卷積神經網絡的擴散模型，如Meta的EmuVideo、騰訊等推出的VideoCrafter；一類是基于Transformer架構的擴散模型，如OpenAI的Sora、快手的可靈AI、生數(shù)科技的Vidu等。另一種是自回歸路線，如谷歌的VideoPoet、Phenaki等。

2024年7月26日，中國科技企業(yè)智譜AI面向全球用戶發(fā)布其自主研發(fā)的人工智能生成視頻模型清影（Ying）。圖為用戶登錄界面

目前，基于Transformer架構的擴散模型是視頻生成模型的主流選擇，也稱“DiT”（Di為Diffusion縮寫，T為Transformer縮寫）。

文本“擴散”為視頻？“擴散在此指一種建模方式?！北本┐髮W信息工程學院助理教授、博士生導師袁粒舉了一個生動例子——

米開朗琪羅在鑿刻著名的大衛(wèi)雕像時，說過這樣一句話：雕塑本來就在石頭里，我只是把不要的部分去掉?！斑@句話很形象地形容了‘擴散’這一建模過程。原始的純噪聲視頻好比未經雕琢的石塊。如何敲打這個大石塊，敲除多余的部分，直到把它敲成輪廓清晰的‘大衛(wèi)’，這樣的方式就是‘擴散’?！痹Ｕf。

袁粒進一步解釋：“Transformer就是一個神經網絡，遵從‘規(guī)模規(guī)則’，執(zhí)行敲石塊的過程。它能處理輸入的時空信息，通過理解其內部復雜關系來理解現(xiàn)實世界，使模型具備推理能力，既能捕捉視頻幀之間的細微聯(lián)系，也能確保視覺上的連貫、時間上的流暢。”

“效率搭子”，有多快

一只憨態(tài)可掬的北極熊被鬧鐘叫醒，背起行囊，乘坐直升機、轉乘高鐵、換乘出租車、登上輪船，跨越山河湖海、歷盡艱難險阻，終于到達南極，與企鵝相會……

這部時長1分半、名為《一路向南》的動畫短片，由視頻生成模型Vidu完成。原本1個月的工作量，有了AI這個“效率搭子”的加入，僅用1周時間就制作出精良作品——效率是過去的4倍。

這讓北京電影節(jié)AIGC短片單元最佳影片得主、Ainimate Lab AI負責人陳劉芳心生感慨：視頻生成技術，讓高水平動畫不再是大廠才敢玩的“燒錢游戲”。

AI動畫《一路向南》的創(chuàng)作團隊僅由3人構成：一名導演、一名故事版藝術家、一名AIGC技術應用專家。而以傳統(tǒng)流程制作的話，需要20人。算下來，僅制作成本就降低90%以上。

正如快手視覺生成和互動中心負責人萬鵬飛所言，視頻生成的本質是從目標分布中采樣計算得到像素。這種方式能以更低的成本，達到更高的內容自由度。

進入Vidu的視頻生成頁面，筆者也體驗了一把“一鍵生成”的自由。上傳一張照片設置為“起始幀”或作為“參考的人物角色”，在對話框里輸入想要生成的場景的文字描繪，點擊“生成”，一條靈動精彩的短視頻就自動生成了。從進入頁面到下載完畢，不足1分鐘。

將一張圖片發(fā)給國產視頻大模型Vidu，一段動畫視頻隨即自動生成。圖為視頻截圖

“‘人人成為設計師’‘人人成為導演’的時代將會到來，就像當年‘人人擁有麥克風’一般。”智譜AI首席執(zhí)行官張鵬說。

“世界模擬器”，有戲嗎

視頻生成，顛覆的僅僅是內容產業(yè)嗎？這顯然不是OpenAI的初衷?！吧梢曨l”只是一道“開胃菜”。

Sora誕生之前，OpenAI并未將其定位為AIGC的實現(xiàn)工具，而是復刻物理世界的“容器”——世界模擬器。這一容器里，運行著真實世界的物理規(guī)律、環(huán)境行為、交互邏輯，恰似《黑客帝國》描繪的虛擬世界，沖擊著我們的想象與感官。

然而，物理世界是三維的，目前的Sora等模型還只是基于二維運作，并非真實物理引擎，也就談不到深層次的物理世界模擬。

“多年來，我一直表示，‘看到’世界即為‘理解’世界。但是現(xiàn)在我愿意將這個概念推進一步，‘看到’不僅僅是為了‘理解’，而是為了‘做到’?！彼固垢４髮W講席教授李飛飛公開表示，空間智能的底線是將“看到”和“做到”聯(lián)系在一起，有一天，AI將會做到這一點。

當“看到”還不等于“做到”時，人工智能的創(chuàng)造就不能停。最近，又有新的技術路線出現(xiàn)了。不同路線之間你追我趕，共同向前，推進這個由向量與模型構造的智能世界。

未來的“世界觀”，依舊是一道尚未揭曉的謎題。正如美國物理學家費曼所說：“我不能創(chuàng)造一個我不理解的世界?！钡@并不意味著，理解了一個世界，就一定能夠創(chuàng)造出一個世界。

此刻，依舊是顛覆到來的前夜。這就是為什么當我們向技術探索者拋出關于未來的問題時，會得到截然不同的答案。也許“不確定”，正是這個時代的幸事。

半月談記者：張漫子/編輯：范鐘秀

責編：秦黛新 / 校對：張子晴

原標題《“文生視頻”離“AI生萬物”有多遠》