15 天前
CFA:面向广义少样本目标检测的基于约束的微调方法
Karim Guirguis, Ahmed Hendawy, George Eskandar, Mohamed Abdelsamad, Matthias Kayser, Juergen Beyerer

摘要
少样本目标检测(Few-shot Object Detection, FSOD)旨在通过利用大量基础类别数据中蕴含的先验知识,仅凭少量标注数据实现对新类别的检测。广义少样本目标检测(Generalized Few-shot Object Detection, G-FSOD)进一步要求在不遗忘已学习基础类别的同时完成新类别的检测,从而更贴近实际应用场景——即在测试阶段同时遇到基础类与新类别。尽管当前FSOD方法普遍存在灾难性遗忘问题,G-FSOD虽有效缓解了该问题,但在新类别任务上的性能仍显著低于当前最先进的FSOD方法。为此,本文提出一种基于约束的微调方法(Constraint-based Fine-tuning Approach, CFA),以缓解灾难性遗忘,同时在不增加模型容量的前提下,在新类别任务上取得具有竞争力的性能。CFA将一种持续学习方法——平均梯度回放记忆(Average Gradient Episodic Memory, A-GEM)引入G-FSOD框架。具体而言,CFA在梯度搜索策略中引入更严格的约束条件,推导出一种新型梯度更新规则,从而促进基础类别与新类别之间的知识有效共享。为验证所提方法的有效性,我们在MS-COCO与PASCAL-VOC两个标准数据集上进行了大量实验。结果表明,CFA在新类别任务上的性能优于现有的FSOD与G-FSOD方法,同时在基础类别任务上仅带来轻微性能下降。此外,CFA与现有FSOD方法具有正交性,可作为即插即用的模块集成到现有框架中,无需增加模型参数量或推理时间,具备良好的实用性和扩展性。