GTC ’19 经典回顾 | 如何编排和创造二次元中的舞蹈?

日前于苏州举办的 GTC China 2019 上,网易雷火伏羲实验室介绍了其 AI 编舞项目,借此提升游戏中动画的表现。将传统的人工编舞技术赋予 AI,可以在更短的时间内得到符合游戏品质的舞蹈内容。因此,可以促进更多玩家进行互动与分享,同时将宋词歌舞以游戏的形式呈现在大众眼前。

唐诗逸,中国歌剧舞剧院国家一级演员,包揽了多个国内重大舞蹈大赛桂冠;《逆水寒》,网易雷火伏羲实验室打造的武侠网游,改编自温瑞安的小说《四大名捕》。

谁会想到,有一天,唐诗逸会穿上一身动作捕捉服,出现在《逆水寒》的制作团队中。她闪展腾挪的翩翩舞姿,一望一回眸的神韵,都即时被映射在游戏人物李师师身上。

唐诗逸说:「自己的舞姿,通过游戏,达到了永恒。」

这是《逆水寒》开发组利用 AI 进行编舞的一个环节。开发组与中国歌剧舞剧院团队合作,希望将中国文化与古典舞蹈植入游戏,让文化瑰宝以游戏元素的形式流传下去。

而为了提升动画的品质与创新力,除了邀请专业的编舞师,根据相应音乐进行舞蹈编排,团队还将人工智能应用在编舞环节,让 AI 根据这些专业动作,自己学会编出与不同音乐相匹配的舞蹈。

 雷火伏羲实验室,用 AI 打造更佳游戏体验

网易集团下属的网易雷火伏羲实验室(以下简称实验室),于 2007 年创立,是网易在杭州的第一个游戏工作室。实验室先后开发了《倩女幽魂》、《天谕》和《逆水寒》三大旗舰游戏品牌,在动作、体育、休闲游戏领域做出尝试。

实验室近年来在 AI 领域不断发力,在游戏中推出了多个 AI 支持的应用,为玩家营造科技时代的游戏体验。比如,《潮人篮球》中运用多智能体训练出的 3v3 对战机器人;《天谕》中利用人工智能算法进行外挂检测等。

在为《逆水寒》中的人物进行舞蹈编排项目中,实验室为了提升游戏中动画的表现以及提高编排效率,也将人工智能技术运用在其中。通过 AI 技术支持,玩家不仅可以自行设定人物的舞蹈动作,还能设定场景、光线,尽情发挥。

AI 编舞这项技术具体是怎么实现的呢?我们一起来听听,这项技术背后的开发者带来的详细解说。 

传统编舞效率低,怎么破?

在今年 12 月 19 日于苏州举办的 GTC China 2019 上,来自网易雷火伏羲实验室的资深算法工程师温翔带来了题为《基于视频信息指导的智能编舞系统》的演讲,带我们探索如何用人工智能编舞。

温翔介绍道,舞蹈很容易让用户产生共鸣,因此,越来越多的场景都会依赖于舞蹈内容,跟玩家进行互动。比如电子游戏、VR 互动等场景。温翔与其智能动画团队也希望可以用技术来提升动画制作效益,以及提升动画的表现。

对于动画舞蹈内容制作,传统的方式有两种,一是专业编舞师根据音乐编排,用专业设备将舞蹈动作剥离之后,由专业动画师进行修改,得到最终作品;另外一种是在需要批量制作舞蹈内容时,需要有舞蹈经验的擦花将音乐切割开,然后把已经制作好的舞蹈动作拼到音乐中。

但这两种方式,都十分消耗时间与人力。于是,温翔和他的团队便想,能否通过 AI 将编舞流程优化,根据一段音乐,自动得到与之匹配的舞蹈动作?他们将想法付诸实践。 

听了音乐,看过视频,AI 学会了编舞

团队在最初面临的问题是,一方面音乐和舞蹈动作的数据,有很多噪声;另一方面,数据量达不到期望。为了解决这些问题,团队发现,在抖音、YouTube 等平台上,有很多很专业的编舞视频,这些视频里面都包含了音乐跟 2D 的骨架信息。而他们可以利用现有的 2D 骨架算法,把音乐的 2D 骨架信息分析出来,最终为其匹配 3D 动作。基于这样的思路,AI 编舞项目便启动了。

 AI 编舞第一步  音乐-动作翻译网络 

AI 编舞的第一步 ,是将音乐与舞蹈动作翻译为可用的数据,即 Audio-Motion Interpreter Network(音乐-动作翻译网络)。

首先从 YouTube 上选取一定量的专业舞蹈视频,包括 Urban、hip-hop、中国舞等多种类型。然后抓取大概 200 个样本,每个样本 3~6 分钟,用 2D 骨架检测,对数据进行预处理。

对于分镜、遮挡以及镜头移动过快会影响 2D 骨架展示的这些问题,团队加入了一些伦理规则在里面。处理之后,得到了音乐与 2D 骨架数据。

利用深度学习,将人体舞蹈姿态提取为 2D 骨架数据之后,团队利用混合密度网络(MDN),进行身体姿态的具体预测,以将动作与音乐进行匹配。这一步骤的核心,就是要得到与音乐相匹配的 2D 骨架移动信息。

 AI 编舞第二步  基于相的 3D 动作匹配 

第二步,将 3D 动作匹配到 2D 骨架移动信息上,即 Phase-based Dance Matching(基于相的 3D 动作匹配。

这一步主要是基于对动作取向的分析进行匹配。这里的要素包括全局的 motion features,和局部的曲线信息,比如上半身或下半身的曲线信息。然后基于 16 拍为一个周期的理论,将动作切开。在切分过程中,并不是随意去切,而是基于一个 breakpoint 的点,这个点的动作往往被认为是舞蹈动作的转折点。

动作曲线变化的绝对值的峰值,被认为是一个 Breakpoint

通过这样的方式,将一个舞蹈动作切分成更多细分动作。然后将这些动作与 3D 动作库中的动作信息进行匹配。对每组匹配会进行打分,而得分最高的动作,就会作为最终最合理、最美观的输出结果。然后通过这样的匹配,最终输入音乐,得到完整的 3D 舞蹈动作。

 AI 编舞第三步  让舞蹈更专业,加入动作变数 

完成动作匹配,并不是全部。团队发现,舞蹈风暴、街舞 battle 等活动中,高手跳舞总是会有一些不一样。通过观察,他们发现,主要因为在音乐踩点的环节,高手会有所不同。

因此,团队加入动作变数(Animation Warping),就是希望 AI 匹配也能够做到这一点。于是,在匹配最接近的踩点音乐点时,他们会将音乐点拉伸或压缩,在接近踩点的时机,让动作曲线更有加速度,于是得到踩点契合度更高的效果。

加入动作变数,使得舞蹈踩点时机更为精准

AI 编舞,激发无限想象力

据介绍,目前,该项目已被应用于营销工具、游戏中,在《逆水寒》游戏中,有的玩家,甚至用 AI 编舞项目,让男性游戏角色跳起了妖娆的舞蹈,引来网友围观。

网友用《逆水寒》游戏 AI 编舞所创作的作品

为了避免产生同样的舞蹈,团队也为输出网络加入了随机性,因此,同样的音乐,都会得到不同的舞蹈,玩家们并不必担心作品「撞衫」。

不得不说, 在 AI 技术加持下,中国文化能变成游戏元素,呈现在大众眼前,得到更加广泛的传播。与此同时,游戏也因此变得越来越有趣,越来越个性化。

借用网易伏羲人工智能实验室负责人李仁杰的话,「AI 让游戏更美好,让世界更美好」。

—— 完 ——

抱歉,暂无相关内容推荐。