提升领域自适应检测Transformer的可迁移性

DETR类检测器在同域（in-domain）场景中表现突出，但在域偏移（domain shift）设置下的特性仍缺乏深入研究。本文基于两项关键发现，旨在构建一种简单而有效的基线方法，以提升DETR类检测器在域偏移场景下的性能。首先，缓解骨干网络与解码器输出特征之间的域偏移，能够获得更优的检测结果；其次，在上述两个部分引入先进的域对齐方法，可进一步提升模型性能。为此，本文提出两种新型模块：面向目标的对齐模块（Object-Aware Alignment, OAA）与基于最优传输的对齐模块（Optimal Transport-based Alignment, OTA），以实现对骨干网络输出与检测器输出的全面域对齐。OAA模块通过伪标签识别骨干网络输出中的前景区域，并对其进行对齐，从而生成具有域不变特性的特征表示。OTA模块则利用切片Wasserstein距离（sliced Wasserstein distance），在最大限度保留解码器输出中空间位置信息的同时，有效缩小不同域之间的分布差异。我们将上述发现与所提出的对齐模块集成至我们的自适应方法中，从而在域偏移设置下为DETR类检测器建立了一个强有力的基准。在多种域自适应场景下的实验结果充分验证了所提方法的有效性与鲁棒性。