基于一对一自教学的引导式混合量化在多模态遥感图像目标检测中的应用

考虑到计算复杂度，我们提出了一种基于一对一自教学的引导式混合量化（Guided Hybrid Quantization with One-to-one Self-Teaching, GHOST）框架。具体而言，我们首先设计了一种名为引导式量化自蒸馏（Guided Quantization Self-Distillation, GQSD）的结构，该结构创新性地通过量化与蒸馏的协同作用实现模型轻量化。在量化模型的训练过程中，其全精度对应模型作为指导信号，无需预先准备庞大的预训练模型，显著节省了时间和计算成本。其次，我们提出了一种混合量化（Hybrid Quantization, HQ）模块，在设定权重值搜索空间中以中心与样本间分布距离的阈值为约束条件，自动搜索并确定最优位宽，从而在保持精度的同时实现高效压缩。第三，为提升信息传递效率，我们引入了一对一自教学（One-to-One Self-Teaching, OST）模块，赋予学生网络自我判断的能力。通过一个开关控制机（Switch Control Machine, SCM），在相同空间位置上建立学生网络与教师网络之间的桥梁，有效抑制教师网络的错误引导，同时将关键知识精准传递给学生网络。该蒸馏机制使模型能够实现自监督学习，无需额外标注数据即可获得显著性能提升。在多模态数据集（VEDAI）以及单模态数据集（DOTA、NWPU、DIOR）上的大量实验表明，基于GHOST框架的物体检测方法显著优于现有各类检测器。与现有的遥感图像处理、轻量化或基于蒸馏的算法相比，GHOST模型参数量小于9.7 MB，浮点运算量（BOPs）低于2158 G，充分体现了其在轻量化设计领域的优越性。相关代码与模型将开源发布于：https://github.com/icey-zhang/GHOST。