11 天前

基于合成图像与部分对抗性域自适应的连续标签空间深度头部姿态估计

{ Jorn Ostermann, Felix Kuhnke}
基于合成图像与部分对抗性域自适应的连续标签空间深度头部姿态估计
摘要

头部姿态估计旨在从图像中准确预测头部的三维姿态。当前的方法主要依赖于监督式深度学习,通常需要大量标注数据。人工标注或基于传感器的头部姿态标注容易引入误差。一种解决方案是通过渲染三维人脸模型生成合成训练数据。然而,合成数据(源域)与真实世界图像(目标域)之间的差异(即域差距)会导致模型性能下降。近年来,视觉域适应技术的发展使得通过对抗神经网络减少域间差异成为可能,其核心思想是通过强制学习域不变特征,实现不同域间特征空间的对齐。然而,以往的视觉域适应研究普遍假设标签空间为离散且共享的,这一假设在头部姿态估计任务中均不成立。本文首次针对头部姿态估计提出了面向部分共享且连续标签空间的域适应方法。具体而言,我们通过在训练过程中对源域数据进行加权重采样,将主流的加权策略拓展至连续标签空间。为评估所提方法,我们对现有数据集进行了修订与扩展,构建了一个新的视觉域适应基准。实验结果表明,即使仅使用合成图像的标签,本文方法仍显著提升了真实世界图像上的头部姿态估计精度。

基于合成图像与部分对抗性域自适应的连续标签空间深度头部姿态估计 | 最新论文 | HyperAI超神经