我的订单|我的收藏|我的商城|帮助中心|返回首页
搜维尔[SouVR.com]>服务>案例分享 应用研究>案例分享>游戏动画

使用虚幻5与AI技术将文本转化成MV

文章来源: 作者:frank 发布时间:2022年08月05日 点击数: 字号:

如果只使用文字,就能创作出一部以《阿基拉》为灵感的赛博朋克影片,那会怎么样?对于艺术家团体Sagans来说,这是一个值得开拓的未来。最近,他们使用虚幻引擎的MetaHuman技术,同时配合AI算法,仅凭文本描述就为其首部音乐录影带《Coherence》生成了大部分镜头。

在最终成品所描绘的后现代图景中,一位女性正在新城市中寻找着属于自己的位置,画面采用素描风格,镜头伴随着音乐不断移动,从明亮的樱花树转场至纽约地铁。Sagans的艺术家们共同展示了,AI不一定预示着我们的工作(甚至整个世界)将被它接管的可怕前景。相反,它可能会成为释放我们全新创作潜力的关键。

颠覆音乐行业

根据Sagans的3D专家Aurelien的说法,《Coherence》准确地代表了这个团体所要实现的目标。“我们感觉,音乐行业不愿意冒险,除非存在利益驱动因素。”他解释说,“因此靠谱的内容开始减少,这正是促使我们创办Sagans的最初原因。”

Sagans团体由音乐家、美术设计师和研究人员组成,他们在制作第一部音乐录影带之前,并不需要等待歌曲创作完成。这为团队提供了更多的时间和自由,探索如何通过人工智能和实时图形等技术实现愿景。

“虚幻引擎5是我们最先决定采用的技术,”Aurelien继续说,“我们首先通过Quixel资产库创建了整个世界,紧接着,我们采用MetaHuman Creator创造了逼真的角色。这为我们改变了一切。突然间,我们就可以在短时间内制作出漂亮的东西了。我们知道,我们已经准备就绪,可以开始制作《Coherence》了。”

添加AI

起初,团队决定使用大友克洋的经典动画《阿基拉》的风格,为视频的审美奠定基础。下一步就创造视频中的女主角。“在使用虚幻引擎工作之前,我们对3D世界不是很熟悉,”Aurelien说,“乍看之下,创造角色似乎是一项非常复杂的任务。幸运的是,MetaHuman Creator让事情变简单了。”

为了创造让观众感觉亲切的角色,团队混合了MetaHuman数据库中三张面孔的元素,找到了自己喜欢的结果。接下来,他们使用iOS的Live Link Face应用,为角色制作了面部表情动画。与此同时,Sagans的艺术家们还开始使用Quixel构建视频的虚幻引擎环境,从日本风格的英国街道,到纽约的地铁,应有尽有。

“创建环境时,Lumen发挥了至关重要的作用,”Aurelien解释说,“有了它,我们能够在不使用大量硬件资源的前提下实时处理光照。再配合使用Niagara创造雨水等粒子,在短短几秒钟内,我们就可以生成与用户界面中完全一致的渲染。”

最后一步是根据场景的需要,通过三套独立的AI算法生成虚幻引擎输出,营造最终的大友克洋风格。第一套算法允许Sagans的艺术家使用文本描述场景风格,然后以视频形式将其表现出来。第二套算法会使用参考图像制作动画视频,而最后一套算法可将实景真人电影转变成风格化的动画影片。

“在大多数镜头中,我们都用到了文本转视频算法。”Aurelien补充说,“为此,我们使用Disco Diffusion 5帮助生成单独的帧,然后通过算法将这些帧转变成视频。我们必须确保文本内容非常详细,不仅能描述出风格,还要填补所有纰漏:如果没有提到天空,机器可能会忘记城市顶部必须有一片天空。在得到不错的第一帧画面之后,我们还要根据运镜的需要,提供足够的描述,生成接下来的帧,然后在第20帧处最后一次检查渲染。”

使用虚幻引擎的成果

由于使用了独特的实时3D和AI工作流程,从第一个镜头到《Coherence》的最终渲染,整个过程只花了三位Sagans创作者八周时间。“我们想要一种既简单易用又足够快速的解决方案,帮助我们迅速实现愿景,虚幻引擎没有让我们失望。”Aurelien补充说,“只需几次点击,我们就可以轻松创建极其精细的角色和城市环境,在没有动作捕捉服的情况下为女主角制作动画。”

现在,《Coherence》已创作完成,团队计划在未来的音乐录影带项目中继续使用虚幻引擎和AI。“第一次发布内容通常会让人伤脑筋,但《Coherence》取得了出色的反响,”Aurelien总结说,“我们希望人们明白,人工智能的出现是为了协助和激励我们,而不是抢走我们的工作,这个录影带正是我们实现这个目标的第一步。”

本文转自虚幻引擎官网~

电话:010-50951355 传真:010-50951352  邮箱:sales@souvr.com ;点击查看区域负责人电话
手机:13811546370 / 13720091697 / 13720096040 / 13811548270 / 13811981522 / 18600440988 /13810279720 /13581546145

  • 暂无资料
  • 暂无资料
  • 暂无资料
  • 暂无资料
  • 暂无资料