面向文化遗址中单阶段艺术品识别的无监督域自适应方法

在文化遗址中，利用用户视角（第一人称视觉，First Person Vision）获取的图像识别艺术作品，能够为游客和遗址管理者构建极具价值的应用场景。然而，当前在完全监督设置下运行的目标检测算法需要大量标注数据进行训练，而这些数据的采集不仅耗时耗力，且成本高昂，难以实现理想性能。借助文化遗址三维模型生成的合成数据来训练算法，可在一定程度上降低此类成本。然而，当这些模型在真实图像上进行测试时，由于真实图像与合成图像之间存在显著差异，性能往往出现明显下降。本研究聚焦于文化遗址中目标检测的无监督域适应（Unsupervised Domain Adaptation, UDA）问题。为解决该问题，我们构建了一个全新的数据集，包含16种不同艺术作品的合成图像与真实图像。在此基础上，我们系统评估了多种域适应技术，涵盖单阶段与两阶段目标检测器、图像到图像翻译方法以及特征对齐策略。基于观察发现，在所考虑的设定下，单阶段检测器对域偏移具有更强的鲁棒性，我们提出了一种基于RetinaNet与特征对齐的新方法，命名为DA-RetinaNet。实验结果表明，该方法在所提出的数据集以及Cityscapes数据集上均优于现有对比方法。为推动该领域研究的发展，我们已公开发布该数据集，访问链接为：https://iplab.dmi.unict.it/EGO-CH-OBJ-UDA/，并开源了所提出模型的代码，地址为：https://github.com/fpv-iplab/DA-RetinaNet。