2 个月前
视图间预测GAN:通过学习全局形状记忆来支持局部视图预测的3D形状无监督表示学习
Han, Zhizhong ; Shang, Mingyang ; Liu, Yu-Shen ; Zwicker, Matthias

摘要
本文提出了一种新颖的无监督表示学习方法,用于三维形状,这一研究挑战的重要性在于它避免了收集有监督数据所需的人工努力。我们的方法训练了一个基于循环神经网络(RNN)的神经网络架构,以解决每个形状的多视角互预测任务。给定一个形状的多个相邻视图,我们将视图互预测定义为在输入视图之间预测中心视图,并在低级特征空间中重建输入视图。我们方法的关键思想是实现一种特定于形状的全局记忆,该记忆在每个形状的所有局部视图互预测之间共享。直观上,这种记忆使系统能够聚合对每个形状的视图互预测任务有用的信 息,并利用该记忆作为与视角无关的形状表示。我们的方法通过结合L_2损失和对抗损失来获得最佳结果。实验表明,VIP-GAN在三个大规模三维形状基准测试中,在无监督3D特征学习方面优于现有最先进方法。