先來看支片子。

感覺怎么樣？

那如果我現(xiàn)在告訴你：這是由1個(gè)人在20小時(shí)之內(nèi)獨(dú)立完成的，你又會(huì)怎么想？

……

短片《遙遠(yuǎn)地球之歌》由北京大學(xué)AI學(xué)者陳劉芳制作，從劇本、分鏡到畫面剪輯，全部使用AI生成技術(shù)來完成。

原本可能幾周甚至數(shù)月的工作量，直接縮短到了20個(gè)小時(shí)，這不禁讓人感嘆AI的強(qiáng)大。

事實(shí)上，從年初爆火的ChatGPT，到每次迭代都會(huì)刷新人們認(rèn)知的Midjourney，網(wǎng)絡(luò)上早已出現(xiàn)了大批的AIGC作品，這似乎證明著曾獨(dú)屬于人類的創(chuàng)造力大門已經(jīng)被AI叩響。

人類能否馴化AI？

AI是解放人類雙手，還是取代人類？

AI飛速發(fā)展的未來是怎樣的？

我們到底應(yīng)該用什么樣的態(tài)度，去對(duì)待它？

......

曾有大量的影視作品試圖描繪一個(gè)那樣的未來，而其中的情景似乎也正在現(xiàn)實(shí)中上演。

AI，真的是人類的敵人嗎？

本期【動(dòng)畫教練】導(dǎo)師陳劉芳借這支短片對(duì)此進(jìn)行了大膽的嘗試，她也許能夠回答這些問題。

童年的哆啦A夢(mèng)

為她埋下了研究AI的種子

2021年，陳劉芳因?yàn)楣ぷ餍枰?，開始探索能夠批量創(chuàng)作內(nèi)容的新方法。

她當(dāng)時(shí)找到了兩個(gè)大方向，其一是通過編輯不同的角色表情、動(dòng)作、服裝等進(jìn)行排列組合生成，其二就是人工智能方法，如擴(kuò)散模型或VQGAN實(shí)現(xiàn)自動(dòng)生成，這是通過CLIP引導(dǎo)擴(kuò)散模型生成的AI版《飛鳥集》。

出于對(duì)AI的興趣，當(dāng)時(shí)陳劉芳選擇了人工智能藝術(shù)作為碩士畢業(yè)論文的主要研究方向。

與此同時(shí)，國際上一些優(yōu)質(zhì)AI作品的出現(xiàn)，也讓陳劉芳更加確信人工智能在藝術(shù)領(lǐng)域存在巨大的潛力。

讓她印象深刻的一部片子，是Runway首屆人工智能電影節(jié)上的《Generation》。這部作品以真人舞蹈視頻為基礎(chǔ)，利用了Disco Diffusion完成了圖像生成。

AI制片該如何落地？

正式著手準(zhǔn)備《遙遠(yuǎn)地球之歌》，是從8月初開始的。陳劉芳已經(jīng)不是第一次制作AI全流程動(dòng)畫，基于過去的制片經(jīng)驗(yàn)，她總結(jié)出了以下幾個(gè)難點(diǎn)：

難點(diǎn)一：建立高效的AI制片流程

前文中提及的20個(gè)小時(shí)制片時(shí)間，包括了從分鏡到畫面生成、鏡頭生成和剪輯的時(shí)間，但不包含前期準(zhǔn)備工作。如果問及資料搜集環(huán)節(jié)，那就要追溯到更遠(yuǎn)的時(shí)間點(diǎn)。

而以AI為核心制片，也意味著此次項(xiàng)目中沒有“前期設(shè)計(jì)”與“后期渲染”等環(huán)節(jié)，普通制片流程并不適用。

難點(diǎn)二：使AI輸出結(jié)果更加可控

AI作為本次的創(chuàng)作核心，其實(shí)是最不可控的部分。事實(shí)上，如果沒有經(jīng)過針對(duì)性的海量訓(xùn)練，目前的AI還無法給出可控的回答。

而海量訓(xùn)練意味著前期的大量人力物力投入，例如全流程人工篩選過濾，這也是頗為耗時(shí)的一環(huán)。

難點(diǎn)三：AI如何制作高質(zhì)量動(dòng)畫

雖然目前有些AI已經(jīng)具備視頻制作能力，但鏡頭語言相對(duì)單調(diào)。若想要高質(zhì)量輸出，則大多限于提供現(xiàn)成模板的情況下。

想要從0到1去制作原創(chuàng)動(dòng)畫，每個(gè)鏡頭的節(jié)奏、繪畫風(fēng)格、表現(xiàn)形式等還必須通過真人導(dǎo)演的把控。

為了更深入地了解AIGC制片流程，我們邀請(qǐng)到了陳劉芳本人為大家拆解《遙遠(yuǎn)地球之歌》的制作流程。

上百個(gè)問題+604張圖像+196個(gè)視頻

=2分鐘動(dòng)畫

首先來看一下《遙遠(yuǎn)地球之歌》的完整制片流程。

STEP1：資料搜集+AI腳本化

由于《遙遠(yuǎn)地球之歌》原著是科幻作家克拉克的短篇小說，陳劉芳提前整理好了原著的各個(gè)發(fā)表版本。

對(duì)于腳本創(chuàng)作階段用到的語言類AI，她選擇了Claude。

具體流程是：根據(jù)原著快速梳理世界觀、人物和關(guān)鍵情節(jié)→索引故事中的獨(dú)特元素→分解場(chǎng)景→整理分鏡頭

這階段的主要問題在于，語言類AI無法100%對(duì)接上創(chuàng)作者的思路，而它的一些描述也并不具有視頻表現(xiàn)力。

因此陳劉芳總結(jié)了幾個(gè)溝通的技巧，在這里分享給大家：

Step2：AI圖像生成

在這里，陳劉芳首先利用Claude生成了較為詳盡的文本描述，然后再進(jìn)行提取和篩選，作為視覺關(guān)鍵詞。

需要注意的是，這個(gè)步驟中人為篩選和提煉是非常必要的環(huán)節(jié)，大概占了前期工作時(shí)間的20%左右，因?yàn)檫^于冗長的描述只會(huì)讓圖像類AI更加難以抓住核心需求。

而對(duì)于圖形類AI，陳劉芳則選用了Midjourney。

其實(shí)市面上利用Midjourney生成的AIGC作品不少，除卻部分專業(yè)作品，好像AI制圖的門檻也不是很高，只要會(huì)上網(wǎng)、有一定英文水平，哪怕零畫畫基礎(chǔ)也能生成好看的圖像。

但如果想要正式用于商業(yè)項(xiàng)目制作中，達(dá)到預(yù)期效果，那就需要大量Prompt測(cè)試，來精準(zhǔn)定義你想要的風(fēng)格了。

提一個(gè)問題：讓你做一部科幻短片的話，你要怎么和AI描述它？

如實(shí)地說：Generate sci-fi type pictures（生成科幻類型畫面）？

這或許能生成還不錯(cuò)的圖像，但類似的空泛描述是絕對(duì)不能出現(xiàn)在商業(yè)項(xiàng)目里的。

以下是陳劉芳用到的Prompt模板：

_____,expansive and intimate visual storytelling,epic sci-fi vision,Kodak Vision3 500T --ar 21:9 --style raw --v 5.2

在此過程中，陳劉芳在《遙遠(yuǎn)地球之歌》中一共生成了604張圖像，通過不斷調(diào)整提示詞+人工篩選，來進(jìn)一步靠近想象中的效果。

可以看出，與圖形類AI的對(duì)話仍是個(gè)相對(duì)耗時(shí)的過程，并且人類仍然占據(jù)著創(chuàng)作中的主導(dǎo)地位。

Step3：視頻生成

陳劉芳選擇在Runway中完成視頻的生成，目前它提供給用戶三種方式生成視頻，分別是:

• Gen1-通過視頻生成視頻

• Gen2-通過文字/圖像引導(dǎo)生成視頻

• FI-基于連續(xù)圖像生成插幀視頻

《遙遠(yuǎn)地球之歌》是基于Gen2來完成的。

簡單地說，就是拖入在Midjourney生成的圖像，每10張-20張畫面做一次可用鏡頭的篩選，最后批量導(dǎo)出。

但說起來容易做起來難。

一個(gè)難點(diǎn)是對(duì)于鏡頭運(yùn)動(dòng)參數(shù)的控制。陳劉芳告訴我們，現(xiàn)在runway已經(jīng)推出了導(dǎo)演模式，可以通過參數(shù)來控制鏡頭移動(dòng)的方向、速度等，有導(dǎo)演、分鏡相關(guān)經(jīng)驗(yàn)的朋友可以更好地駕馭它。

另一個(gè)難點(diǎn)是角色的連貫性。目前比較靠譜的方法，就是ControlNet搭配Ip adapter，通過一張圖片引導(dǎo)生成一個(gè)角色的多角度、多場(chǎng)景的變化等等。動(dòng)畫人可以關(guān)注的類似方法還有Roop，styledrop等等。

Step4：剪輯后期

基于前期Claude生成的分鏡，陳劉芳使用了DaVinci來進(jìn)行剪輯。

DaVinci Resolve 剪輯>調(diào)色>AE后期>加字幕>輸出

但由于前期圖像生成階段，并沒有對(duì)Midjourney的色彩傾向進(jìn)行嚴(yán)格限制，所以要額外進(jìn)行調(diào)色處理。

之后就是傳統(tǒng)流程上的聲畫同步、調(diào)整鏡頭速度和運(yùn)動(dòng)方向等等操作，最后通過AE制作了一組特效字。

至此，《遙遠(yuǎn)地球之歌》的制作已經(jīng)完成。

那么我們來算一筆賬。

陳劉芳老師在制作過程中，使用的是免費(fèi)版Claude，但如果頻繁使用的話，專業(yè)版費(fèi)用是一個(gè)月20美元。

Midjourney目前有3個(gè)等級(jí)的訂閱費(fèi)用，陳劉芳選擇了1個(gè)月30美元的付費(fèi)標(biāo)準(zhǔn)。

Runaway上，每1000積分能生成200秒的視頻，《遙遠(yuǎn)地球之歌》用了700積分左右，大概是7美元。

按照現(xiàn)在的匯率，也就是416.19元。

從這個(gè)角度上看，對(duì)比傳統(tǒng)流程，AIGC制片還是具備一定優(yōu)勢(shì)的。尤其是對(duì)于很多想講故事的朋友們來說，可以幫助我們快速把想法視覺化。并且也許隨著相關(guān)技術(shù)的成熟，未來畫面質(zhì)量得到提升的同時(shí)，成本也會(huì)越來越低。

AI真的是高性價(jià)比的代名詞么？

其實(shí)看完整個(gè)制作流程，我們可以很直觀地感覺到與AI溝通的過程還是非常繁瑣，并且存在不可控性質(zhì)的。

以目前的水平來看，離“AI解放人類雙手”仍然有著很長一段距離。

而加入商業(yè)工作流就更難了，想高效且保質(zhì)保量完成需求，前期的大量準(zhǔn)備工作與人工篩選也是一個(gè)問題。

所以我們與陳劉芳本人進(jìn)行了討論。

我最近也做了幾個(gè)商業(yè)廣告項(xiàng)目的嘗試，確實(shí)不同品牌和項(xiàng)目的需求千差萬別。有的客戶希望看到非常新穎、有想象力的效果，這時(shí)我們要發(fā)揮AI的特長，但同時(shí)要充分揣摩品牌調(diào)性，及時(shí)溝通確?？蛻魸M意。

另一類客戶對(duì)品牌廣告的要求更為具體和嚴(yán)格，這時(shí)我們需要拿其他技術(shù)手段來輔助，在AI生成的基礎(chǔ)上進(jìn)行后期調(diào)整，提高圖片的可控性和質(zhì)量，才能達(dá)到客戶的標(biāo)準(zhǔn)要求。當(dāng)某個(gè)技術(shù)路線并不適合實(shí)現(xiàn)目標(biāo)時(shí)，要及時(shí)做溝通和調(diào)整。

要在商業(yè)項(xiàng)目中發(fā)揮AI的優(yōu)勢(shì)，我們既要能夠駕馭好各類AI工具，又要掌握后期處理等相關(guān)技能。更關(guān)鍵的是要根據(jù)項(xiàng)目類型靈活選用合適的技術(shù)路線。在整個(gè)流程中跟客戶多溝通也很重要。

我認(rèn)為未來AI要真正落地商業(yè)應(yīng)用，需要克服的挑戰(zhàn)還有很多。我們要善于通過人機(jī)合作的創(chuàng)作模式，發(fā)揮協(xié)同的價(jià)值，這是也是大勢(shì)所趨。

我個(gè)人來看，目前AI還比較難完全取代人類藝術(shù)家，因?yàn)槿祟愃囆g(shù)家注重的是從自己的經(jīng)驗(yàn)和靈感出發(fā)，發(fā)揮想象力和創(chuàng)造力，作品充滿藝術(shù)性。當(dāng)前AI更多是提供一些新的視角，或者實(shí)現(xiàn)些需求量比較大、規(guī)?；膬?nèi)容生成。

但現(xiàn)在已經(jīng)看到一些“人工智能藝術(shù)家”的出現(xiàn)，比如創(chuàng)作了“芭本海默”和“AI版指環(huán)王預(yù)告片“的Caleb Ward，他的作品都是一個(gè)人一臺(tái)電腦制作的，視聽語言和剪輯節(jié)奏做得也非常的棒。這些藝術(shù)家們結(jié)合了人類的審美和輸入，以及AI的生成能力，創(chuàng)作出了獨(dú)特的作品，給許多靈感的落地供了很好的技術(shù)支持。

最近還來到一條很可愛的小片子叫《Glitch》，作者是 Jeff Synthesized，講了小鎮(zhèn)上的發(fā)生了電力異常，大家都在猜測(cè)是什么原因，我們的小主人公在家里發(fā)現(xiàn)了一神奇的小怪物……

這個(gè)片子的鏡頭語言，分鏡設(shè)計(jì)，角色表演非常的成熟，是那種差不多是你會(huì)誤以為迪士尼偷跑電影電影動(dòng)畫的程度。

有句話大家可能經(jīng)常會(huì)聽到“人們總是高估一項(xiàng)科技所帶來的短期效益，卻又低估它的長期影響”，這就是阿瑪拉定律。世界知名 IT 研究咨詢公司 Gartner 的研究報(bào)告中，就將生成式人工智能預(yù)測(cè)為未來幾年主要戰(zhàn)略技術(shù)趨勢(shì)之一。

根據(jù)新興技術(shù)成熟度曲線來看，生成式人工智能正在從技術(shù)萌芽期向期望膨脹期過渡，預(yù)計(jì)在未來2到5年內(nèi)將達(dá)到生產(chǎn)成熟期。這意味著AIGC技術(shù)將在短期內(nèi)迅速發(fā)展，改變包括動(dòng)畫創(chuàng)作在內(nèi)的許多行業(yè)的運(yùn)作方式。很多企業(yè)和研究機(jī)構(gòu)正在加大投入，研發(fā)更先進(jìn)的生成式人工智能技術(shù)，并探索將其應(yīng)用于藝術(shù)創(chuàng)作上的可能性。

最近我也通過AnimateDiff做了一組小實(shí)驗(yàn)，比如這組是直接通過文字來生成：

而下面這組是AnimateDiff+IP Adapter生成的效果，盡管這項(xiàng)技術(shù)在動(dòng)畫表演，畫面精度，角色一致性方面有許多地方需要提升。

再給大家分享一下2022年上半年的時(shí)候，我測(cè)試AI動(dòng)畫達(dá)到的效果。

這便是一年半左右的時(shí)間AI技術(shù)進(jìn)步帶來的直觀提升。

盡管在國內(nèi)，它對(duì)我們當(dāng)前動(dòng)畫行業(yè)得影響還比較有限，但從長遠(yuǎn)來看，AI很可能會(huì)改變傳統(tǒng)的內(nèi)容生產(chǎn)方式。動(dòng)畫和影視正在融合，拍攝+AI可能會(huì)成為未來動(dòng)畫制作的關(guān)鍵流程之一。這方面已經(jīng)有不少先例產(chǎn)生，比如Corridor Crew團(tuán)隊(duì)推出的《剪刀石頭布》動(dòng)畫就是這樣的例子，國內(nèi)也有許多動(dòng)畫公司和影視公司在實(shí)踐這樣的流程。

我之前在另外一篇發(fā)表在wuhu上的文章中關(guān)于電影工業(yè)化的發(fā)展中也提到了，未來可能會(huì)出現(xiàn)更多完全由AI自主創(chuàng)作的動(dòng)畫、電影等藝術(shù)內(nèi)容，這種可能性是存在的。在這塊Fablestudio結(jié)合了LLM、訓(xùn)練擴(kuò)散模型和AI Agents模擬的能力，生成了全新的《南方公園》劇集，就是這樣的實(shí)例。

拓展鏈接：北大人工智能藝術(shù)實(shí)驗(yàn)創(chuàng)作研究者用AI全流程又創(chuàng)作了一部科幻動(dòng)畫！

總之，技術(shù)進(jìn)步總會(huì)對(duì)傳統(tǒng)的創(chuàng)作模式帶來不同程度的沖擊與融合。大家需要保持學(xué)習(xí)與探索的心態(tài)，在巨大的變化來臨前，我們不應(yīng)該簡單地抵制變革或者是盲目追捧。

一個(gè)簡單的方式就是以終為始，來思考自己的作品中是否需要類似的技術(shù)來實(shí)現(xiàn)合適的效果。如果有，那么可以適當(dāng)?shù)牧私庀伦约侯I(lǐng)域的一些AI技術(shù)的發(fā)展，我相信大概率還是會(huì)有幫助的。

在這次的動(dòng)畫教練中，我準(zhǔn)備給大家?guī)硪韵聨讉€(gè)知識(shí)點(diǎn):

第一， 用具體的商業(yè)項(xiàng)目案例，分享如何應(yīng)用AI來完成一個(gè)更復(fù)雜的商業(yè)項(xiàng)目制作,幫助大家建立高效的AI制片流程；

第二，展示使用Stable Diffusion搭配Deforum來完成動(dòng)畫logo演繹；

第三， 現(xiàn)場(chǎng)來訓(xùn)練一個(gè)中文語音模型，幫助動(dòng)畫人在分鏡階段實(shí)現(xiàn)效果更好的旁白配音。

我希望這幾個(gè)知識(shí)點(diǎn)能夠幫助大家在未來更好地利用AI工具來提升自己的在動(dòng)畫創(chuàng)作上的競(jìng)爭(zhēng)力，比如自己動(dòng)手完成一些小型的動(dòng)畫項(xiàng)目，或者在有靈感時(shí)能夠快速進(jìn)行視覺表現(xiàn)等。

對(duì)于動(dòng)畫工作者來說，AI就好比一個(gè)隨時(shí)可以使用的小助手，在我們需要實(shí)現(xiàn)創(chuàng)作想法時(shí)，可以借助AI快速呈現(xiàn)效果，幫助大家在未來的職業(yè)道路上做好積累。

<上下滑動(dòng)欣賞全部圖片>

這是一個(gè)特別好的問題，我個(gè)人來看，一個(gè)比較理想的狀態(tài)是：AI系統(tǒng)能夠根據(jù)我們的文本輸入，自動(dòng)生成完整的動(dòng)畫作品，包括從畫面、鏡頭、配音等各個(gè)方面，無需人為操作就能輸出高質(zhì)量作品。要修改的話，各個(gè)環(huán)節(jié)也能分別來做調(diào)整，有一個(gè)我最近發(fā)現(xiàn)的小說推文轉(zhuǎn)視頻軟件，叫繪唐，就是這個(gè)流程的雛形。

關(guān)于AI和人類的關(guān)系，其實(shí)在上世紀(jì)70年代，人工智能藝術(shù)的先驅(qū)，英國藝術(shù)家Harold Cohen就打造了一個(gè)可以自主繪畫的機(jī)器人ARRON，開始了他和人工智能四十年的合作?？贫鲗⒆约汉?ARRON的關(guān)系比作文藝復(fù)興時(shí)期畫家與其工作室助手，時(shí)至今日仍然可以用來形容藝術(shù)家和人工智能系統(tǒng)之間的關(guān)系。

如果未來AI真正達(dá)到類似“數(shù)字生命”形態(tài)，有自己的思維和創(chuàng)作能力，那AI就上升到一個(gè)共生的位置，不再僅是工具，而是創(chuàng)作的伙伴。這時(shí)人機(jī)關(guān)系應(yīng)該是一種合作共生的形態(tài)，在游戲《底特律：變?nèi)恕分?，也有比較深入展開的相關(guān)劇情。當(dāng)AI擁有了生命和思維，有了感知和具身體驗(yàn)，我們的區(qū)別可能真的就只是組成元素的不同了……

但在那之前，我們還是應(yīng)該把好用的AI系統(tǒng)作為工具來放大人類創(chuàng)作者的能力，而不是簡單地討論誰會(huì)被更換。通過AI或者其他工具靈活的輔助創(chuàng)作，更好的呈現(xiàn)故事，唯有在作品中，才能傳承人類藝術(shù)創(chuàng)作的獨(dú)特魅力。

AI是解放人類雙手，還是取代人類？

我們?nèi)匀辉谔剿髦@個(gè)問題的答案。