摘要
在恶劣天气或光照条件不足的情况下，单一传感器可能无法获取足够信息以实现目标识别。与传统光学图像相比，合成孔径雷达（SAR）成像具有显著优势，例如能够穿透雾、烟等障碍物。然而，SAR图像普遍存在分辨率低、斑点噪声水平高等问题，导致从中提取强大且鲁棒的特征极具挑战性。为此，本文探讨了多模态成像是否能够提升目标检测性能。为此，我们提出了一种跨模态知识蒸馏（Cross Modality Knowledge Distillation, CMKD）框架，并针对目标分类任务设计了两种不同的网络结构，分别命名为CMKD-s与CMKD-m。具体而言，CMKD-s采用在线知识蒸馏机制，实现双传感器信息的跨模态传递，从而促进跨模态知识共享，提升航拍视角下目标分类模型的鲁棒性。此外，结合半监督增强训练策略，我们进一步提出了CMKD-m方法，通过强化模型间的相互知识迁移能力，进一步提升性能。定量实验结果表明，在NTIRE2021 SAR-EO挑战数据集上，CMKD-s与CMKD-m均显著优于未采用知识蒸馏的基线方法。