CFA: Constraint-basierte Feinabstimmungsapproach für verallgemeinerte Few-Shot-Objektdetektion

Few-shot Object Detection (FSOD) zielt darauf ab, neue Kategorien mit begrenzten Daten zu erkennen, indem vorherige Kenntnisse aus reichhaltigen Basisdaten genutzt werden. Generalized Few-shot Object Detection (G-FSOD) strebt an, FSOD zu lösen, ohne bereits gesehene Basisklassen zu vergessen, und berücksichtigt damit eine realistischere Szenario, in dem sowohl Basis- als auch neue Klassen zur Testzeit auftreten. Während aktuelle FSOD-Methoden unter katastrophalem Vergessen leiden, adressiert G-FSOD diese Einschränkung, zeigt jedoch im Vergleich zu aktuellen State-of-the-Art-FSOD-Methoden eine Leistungsabnahme bei neuen Aufgaben. In dieser Arbeit stellen wir einen auf Einschränkungen basierenden Feintuning-Ansatz (Constraint-based Fine-tuning Approach, CFA) vor, um katastrophales Vergessen zu verringern und gleichzeitig konkurrenzfähige Ergebnisse bei neuen Aufgaben zu erzielen, ohne die Modellkapazität zu erhöhen. CFA adaptiert eine kontinuierliche Lernmethode, nämlich Average Gradient Episodic Memory (A-GEM), für den G-FSOD-Ansatz. Insbesondere werden zusätzliche Einschränkungen auf die Gradientensuchstrategie angewendet, aus der eine neue Gradientenaktualisierungsregel abgeleitet wird, die einen verbesserten Wissensaustausch zwischen Basis- und neuen Klassen ermöglicht. Zur Evaluation unseres Ansatzes führen wir umfangreiche Experimente auf den Datensätzen MS-COCO und PASCAL-VOC durch. Unser Verfahren übertrifft sowohl aktuelle FSOD- als auch G-FSOD-Ansätze bei neuen Aufgaben, wobei lediglich eine geringfügige Degeneration bei den Basisaufgaben auftritt. Darüber hinaus ist CFA orthogonal zu bestehenden FSOD-Ansätzen und fungiert als Plug-and-Play-Modul, ohne die Modellkapazität oder die Inferenzzeit zu erhöhen.