测试时适应与训练时泛化：基于关键点估计的人体实例分割案例研究

我们研究了如何利用关键点估计来提高给定测试图像中的人体实例分割掩码质量的问题。我们比较了两种替代方法。第一种方法是在测试时进行适应（Test-Time Adaptation, TTA），允许使用单个未标记的测试图像对分割网络的权重进行修改。在该方法中，我们假设在测试时无法访问已标记的源数据集。具体而言，我们的TTA方法包括将关键点估计作为伪标签，并通过反向传播调整主干网络的权重。第二种方法是在训练时进行泛化（Training-Time Generalization, TTG），允许离线访问已标记的源数据集，但不允许在测试时修改权重。此外，我们假设没有目标域的任何图像或知识可用。我们的TTG方法包括将由关键点头部生成的特征与主干特征融合，并将聚合后的向量输入到掩码头部。通过一系列全面的消融实验，我们评估了这两种方法并识别出几个限制TTA收益的因素。特别是，我们展示了在没有显著域偏移的情况下，TTA可能会产生负面影响，而TTG仅表现出较小的性能提升；而在存在较大域偏移的情况下，TTA的收益较小且依赖于所使用的启发式算法，而TTG的收益较大且对架构选择具有鲁棒性。