基于深度多任务学习的手部图像理解

从图像或视频等多媒体资料中分析与理解手部信息，在众多实际应用中具有重要意义，同时也是当前研究领域的活跃方向。尽管已有大量工作致力于从单张图像中恢复手部信息，但这些方法通常仅针对单一任务，例如手部掩码分割、2D/3D手部姿态估计或手部网格重建，在复杂场景下表现有限。为进一步提升上述任务的性能，本文提出一种新型的手部图像理解（Hand Image Understanding, HIU）框架，旨在仅基于单张RGB图像，联合建模多个任务之间的内在关联，从而全面提取手部对象的多维度信息。为实现该目标，我们设计了一种级联式多任务学习（Multi-Task Learning, MTL）主干网络，用于同时估计2D热图、学习分割掩码，并生成中间的3D信息编码；随后结合粗到细的学习范式与自监督学习策略，进一步提升模型的表达能力与泛化性能。定性实验表明，所提方法在复杂场景下仍能恢复出合理且连续的手部网格表示。定量实验结果表明，该方法在多个广泛使用的基准数据集上，于多种评估指标下均显著优于现有最先进方法。