午夜视频在线网站,日韩视频精品在线,中文字幕精品一区二区三区在线,在线播放精品,1024你懂我懂的旧版人,欧美日韩一级黄色片,一区二区三区在线观看视频

分享

全民制片時(shí)代來(lái)臨?使用Metahuman和AI技術(shù),創(chuàng)作音樂(lè)電影

 Mixlab交叉學(xué)科 2022-08-06 發(fā)布于上海

序:元宇宙中的我們是什么?

shadow:

這幾天為#實(shí)驗(yàn)性虛擬展覽準(zhǔn)備內(nèi)容,嘗試使用#StableDiffusion生成了一組圖像,然后通過(guò)AI配音,添加濾鏡,完成了這個(gè)視頻。整個(gè)流程非常高效,生產(chǎn)力爆滿(mǎn)!

#虛擬展覽

《無(wú)影》— 皮膚之外

如果世界上有一種服飾,稱(chēng)作“無(wú)影”。


策展團(tuán)隊(duì):Luuuucky 、小·狐貍·魔法球、JING-ML1933、Five six 、y-ML2011

AI技術(shù):Stable Diffusion

服裝軟件:Style3D

虛擬空間服務(wù):vland云現(xiàn)場(chǎng)

內(nèi)容編輯:杜韋柯

架構(gòu)師: shadow

之前介紹了不少 AI 創(chuàng)意工具,設(shè)計(jì)師擁有了創(chuàng)意工廠生產(chǎn)線。

#

AI 創(chuàng)意工廠的一個(gè)強(qiáng)大功能就是打通不同媒介的壁壘,文本、音頻、圖像、人物、場(chǎng)景皆可生成。

還有其他文本生成電影的案例嗎?

#

藝術(shù)家團(tuán)隊(duì) Sagans 運(yùn)用 Metahuman+AI 算法制作了音樂(lè)電影,制作全程未使用現(xiàn)實(shí)鏡頭與真人演員, 僅根據(jù)書(shū)面描述便生成了大部分鏡頭。

全民電影制作時(shí)代來(lái)臨!

音樂(lè)視頻 Coherence



藝術(shù)家團(tuán)隊(duì) Sagans 受 Akira 的賽博朋克電影啟發(fā),創(chuàng)作了音樂(lè)電影 Coherence — 使用 Unreal Engine 的 MetaHuman 和 AI 算法,根據(jù)書(shū)面描述生成了首張音樂(lè)視頻中的大部分鏡頭。

這部獨(dú)特的電影充滿(mǎn)了 “后現(xiàn)代” 的寫(xiě)照,影片中的女子在一個(gè)城市中不斷變換自己的位置,從一棵明亮的櫻花樹(shù)漂流到紐約地鐵,通過(guò)人物不斷移動(dòng)來(lái)伴隨音樂(lè)的 AI生成圖畫(huà)。

小杜

Sagans 的藝術(shù)家們認(rèn)為,人工智能不需要成為一個(gè)旨在接管人類(lèi)工作(甚至是整個(gè)世界運(yùn)作)的 “主宰”。相反,人工智能或許是開(kāi)啟全新創(chuàng)意可能性的新賽道。

Mixlab

影片中的主角是如何制作的?場(chǎng)景構(gòu)建運(yùn)用了哪些工具?AI生成技術(shù)在影片制作流程中的哪些環(huán)節(jié)發(fā)揮作用?

小杜

在制作影片之前,團(tuán)隊(duì)決定使用大友克弘標(biāo)志性的 Akira 動(dòng)漫風(fēng)格作為視頻美學(xué)的基礎(chǔ)。團(tuán)隊(duì)創(chuàng)建視頻虛擬女主角時(shí),混合了 MetaHuman 數(shù)據(jù)庫(kù)中三張面孔的元素,以綜合最優(yōu)的效果,角色的面部表情制作動(dòng)畫(huà)使用的是適用于iOSLive Link Face 。


Akira 動(dòng)漫風(fēng)格 & 虛擬主角制作

小杜

Sagans 的藝術(shù)家們使用 Quixel 來(lái)構(gòu)建視頻的場(chǎng)景環(huán)境,AI 將其風(fēng)格化為日式風(fēng)格的英國(guó)街道、紐約地鐵列車(chē)等內(nèi)容。團(tuán)隊(duì)也使用了虛幻引擎對(duì)的 Lumen 技術(shù),使團(tuán)伙可以在幾秒鐘內(nèi)生成在 UI 稿中看到的完全對(duì)應(yīng)的渲染?!?/span>


Quixel 場(chǎng)景制作+AI風(fēng)格渲染

小杜

視頻的風(fēng)格化渲染所用的 AI 算法有三類(lèi)用法。

第一個(gè)算法使 Sagans 藝術(shù)家能夠在文本中描述場(chǎng)景的風(fēng)格,然后將其視轉(zhuǎn)化為視頻。第二種算法采用參考圖像制作動(dòng)畫(huà)視頻,最終算法將真人電影渲染為風(fēng)格化的動(dòng)畫(huà)結(jié)果

Coherence 大多數(shù)鏡頭中使用了文本到視頻算法,Disco Diffusion 5 用來(lái)生成單個(gè)幀,然后算法將其轉(zhuǎn)換為視頻。運(yùn)用AI進(jìn)行影片渲染必須確保文字描述非常詳細(xì),既要確定風(fēng)格并填補(bǔ)任何內(nèi)容空白。

獲得了質(zhì)量過(guò)關(guān)的的第一幀后,團(tuán)隊(duì)會(huì)確保有足夠多的描述來(lái)根據(jù)團(tuán)隊(duì)想要的鏡頭語(yǔ)言移動(dòng)生成下一幀,并在第 20 幀進(jìn)行一次檢查渲染。

完整影片欣賞

團(tuán)隊(duì)創(chuàng)建了獨(dú)特的實(shí)時(shí)3D和AI渲染工作流程,花費(fèi)了八周時(shí)間完成了影片制作。整個(gè)流程在沒(méi)有動(dòng)作捕捉套裝的情況下為電影的女主角完成了動(dòng)畫(huà)制作。

Coherence 完成后,團(tuán)隊(duì)的目標(biāo)是繼續(xù)在未來(lái)的音樂(lè)視頻制作項(xiàng)目中使用虛幻引擎和 AI。團(tuán)隊(duì)成員認(rèn)為,人工智能不僅可以幫助和激勵(lì)創(chuàng)組作者,并且推動(dòng)著他們繼續(xù)探索設(shè)計(jì)工具與AI結(jié)合的全新工作流。

原文鏈接:
www.unrealengine.com/en-US/spotlights/words-camera-action-creating-an-ai-music-video-with-unreal-engine-5

小杜

音樂(lè)人可以自己制作MV,每個(gè)人都有機(jī)會(huì)運(yùn)用設(shè)計(jì)+AI的工作流描繪心中的理想世界與傳奇故事了~

我得趕緊翻翻前期的推文,惡補(bǔ)下AI創(chuàng)作與Metahuman 的知識(shí)。

#

工作流程,我們可以繼續(xù)加入音樂(lè)生成的算法

如果互動(dòng)性更強(qiáng)點(diǎn)

畫(huà)面是很驚艷,但其實(shí)我有點(diǎn)沒(méi)看懂作品的表達(dá)思路

你是指互動(dòng)電影嗎?根據(jù)觀眾的情緒來(lái)調(diào)整畫(huà)面生成的參數(shù)?

#

互動(dòng)與實(shí)時(shí)渲染確實(shí)是AI創(chuàng)作的優(yōu)勢(shì),探索空間很大

不過(guò)AI藝術(shù)家有自己的獨(dú)特表達(dá)也不需要人人都能get到......

......



    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶(hù) 評(píng)論公約

    類(lèi)似文章 更多