FocalClick: Hin zu einer praktikablen interaktiven Bildsegmentierung

Interaktive Segmentierung ermöglicht es Benutzern, Zielmasken durch positive oder negative Klicks zu extrahieren. Obwohl diese Technik bereits von zahlreichen vorherigen Arbeiten erforscht wurde, besteht weiterhin eine Lücke zwischen akademischen Ansätzen und industriellen Anforderungen: Erstens sind bestehende Modelle nicht effizient genug, um auf leistungsschwachen Geräten zu funktionieren; zweitens erzielen sie schlechte Ergebnisse bei der Nachbearbeitung bereits vorhandener Masken, da sie nicht verhindern können, dass korrekte Bereiche zerstört werden. FocalClick löst beide Probleme gleichzeitig, indem es die Maske lokalisierte Bereiche vorhersagt und aktualisiert. Zur Verbesserung der Effizienz zerlegen wir die langsame Vorhersage über das gesamte Bild in zwei schnelle Inferenzen auf kleinen Bildausschnitten: eine grobe Segmentierung auf dem Ziel-Ausschnitt (Target Crop) und eine lokale Verbesserung auf dem Fokus-Ausschnitt (Focus Crop). Um das Modell auch mit bereits vorhandenen Masken nutzen zu können, führen wir eine Unter-Aufgabe namens Interaktive Maskenkorrektur (Interactive Mask Correction) ein und schlagen Progressive Merge als Lösung vor. Progressive Merge nutzt morphologische Informationen, um zu entscheiden, wo Inhalte erhalten und wo aktualisiert werden sollen, wodurch Benutzer beliebige vorliegende Masken effektiv nachbearbeiten können. FocalClick erzielt Ergebnisse, die mit den State-of-the-Art-Methoden konkurrieren, jedoch mit deutlich geringeren FLOPs (Floating Point Operations). Zudem zeigt es eine signifikante Überlegenheit bei der Korrektur bereits bestehender Masken. Der Quellcode und die Datensätze werden unter github.com/XavierCHEN34/ClickSEG veröffentlicht.