2 个月前
数字生活项目：具有社会智能的自主3D角色
Cai, Zhongang ; Jiang, Jianping ; Qing, Zhongfei ; Guo, Xinying ; Zhang, Mingyuan ; Lin, Zhengyu ; Mei, Haiyi ; Wei, Chen ; Wang, Ruisi ; Yin, Wanqi ; Fan, Xiangyu ; Du, Han ; Pan, Liang ; Gao, Peng ; Yang, Zhitao ; Gao, Yang ; Li, Jiaqi ; Ren, Tianxiang ; Wei, Yukun ; Wang, Xiaogang ; Loy, Chen Change ; Yang, Lei ; Liu, Ziwei
摘要
在本研究中，我们介绍了“数字生命项目”（Digital Life Project），这是一个利用语言作为通用媒介构建自主3D角色的框架。这些角色能够进行社会互动并以精细的身体动作表达自己，从而在数字环境中模拟真实生活。我们的框架包含两个主要组成部分：1）SocioMind：一个精心设计的数字大脑，通过系统性的少量示例建模个性特征，基于心理学原理融入反思过程，并通过发起对话主题来模拟自主性；2）MoMat-MoGen：一种由文本驱动的动作合成范式，用于控制角色的数字身体。该范式集成了运动匹配技术，这是一种经过验证的行业技术，可确保动作质量，并结合了最新的动作生成技术以实现多样性。广泛的实验表明，每个模块在其各自领域均达到了最先进的性能。总体而言，这些模块使虚拟角色能够自主地发起和维持对话，并在此过程中发展其社会心理状态。同时，这些角色还能够执行与上下文相关的身体动作。此外，一个动作字幕模块进一步使虚拟角色能够识别并恰当地回应人类玩家的动作。主页：https://digital-life-project.com/