Kontinuierliche Anpassung für interaktive Objektsegmentierung durch Lernen aus Korrekturen

Bei der interaktiven Objektsegmentierung arbeitet ein Benutzer gemeinsam mit einem Computer-Vision-Modell, um ein Objekt zu segmentieren. Neuere Ansätze setzen hierfür Faltungsneuronale Netze ein: Gegeben ein Bild sowie eine Reihe von Korrekturen durch den Benutzer als Eingabe, liefern sie eine Segmentierungsmaske aus. Diese Ansätze erreichen starke Leistungsfähigkeit durch Training auf großen Datensätzen, halten jedoch die Modellparameter während der Testphase unverändert. Stattdessen erkennen wir, dass Benutzerkorrekturen als spärliche Trainingsbeispiele dienen können, und schlagen eine Methode vor, die diese Idee nutzt, um die Modellparameter dynamisch an die vorliegenden Daten anzupassen. Unser Ansatz ermöglicht die Anpassung an ein bestimmtes Objekt und dessen Hintergrund, an Verteilungsverschiebungen im Testset, an spezifische Objektklassen und sogar an große Domänenwechsel, bei denen sich die Bildmodality zwischen Training und Test unterscheidet. Wir führen umfangreiche Experimente auf acht unterschiedlichen Datensätzen durch und zeigen: Im Vergleich zu einem Modell mit fixierten Parametern reduziert unsere Methode die benötigten Korrekturen (i) um 9–30 %, wenn die Verteilungsverschiebung zwischen Training und Test gering ist; (ii) um 12–44 %, wenn auf eine spezifische Klasse spezialisiert wird; und (iii) um 60 % und 77 %, wenn die Domäne zwischen Training und Test vollständig gewechselt wird.