少样本自适应凝视估计

人际解剖学差异限制了独立个体注视估计网络的准确性。然而，为了实现需要更高质量的应用，进一步降低注视误差的需求仍然存在。通过个性化注视网络可以实现更高的精度提升，理想情况下只需少量校准样本即可完成。然而，过度参数化的神经网络由于容易快速过拟合，因此不适合从少量样本中学习。我们面对这些挑战，提出了一种新颖的少样本自适应注视估计（FAZE）框架，用于利用非常少的（不超过9个）校准样本来学习特定个体的注视网络。FAZE通过解耦编码器-解码器架构和基于元学习的高度可适应注视估计器来学习具有旋转感知能力的注视潜在表示。该框架能够在仅使用3个样本的情况下显著提高对任何新个体的适应性能，在GazeCapture数据集上达到了3.18度的最新性能，比现有方法提高了19%。我们的代码已开源，地址为：https://github.com/NVlabs/few_shot_gaze