Interaktive Objektssegmentierung mit Innen-Außen-Leitfaden

Diese Arbeit untersucht, wie präzise Objektsegmentierungsmasken erzielt werden können, während die menschliche Interaktionskosten minimiert werden. Um dies zu erreichen, schlagen wir in dieser Arbeit einen Ansatz namens Inside-Outside Guidance (IOG) vor. Konkret nutzen wir einen inneren Punkt, der nahe am Objektzentrum angeklickt wird, sowie zwei äußere Punkte an symmetrischen Ecken (oben-links und unten-rechts oder oben-rechts und unten-links) eines engen Umrandungsrechtecks, das das Zielobjekt umschließt. Dies führt insgesamt zu einer Vordergrundklick- und vier Hintergrundklicks für die Segmentierung. Die Vorteile unseres IOG sind vielfältig: 1) Die beiden äußeren Punkte helfen, Ablenkungen durch andere Objekte oder den Hintergrund zu beseitigen; 2) der innere Punkt unterstützt die Entfernung unzusammenhängender Regionen innerhalb des Umrandungsrechtecks; 3) die inneren und äußeren Punkte sind leicht identifizierbar, was die Verwirrung reduziert, die bei extremen Beispielen durch den aktuellen Stand der Technik DEXTR bei der Etikettierung auftritt; 4) unser Ansatz unterstützt natürlicherweise zusätzliche Klick-Etikettierungen zur weiteren Korrektur. Trotz seiner Einfachheit erreicht unser IOG nicht nur state-of-the-art-Leistung auf mehreren etablierten Benchmarks, sondern zeigt auch eine starke Generalisierungsfähigkeit über verschiedene Domänen hinweg – wie Straßenansichten, Luftbilder und medizinische Bilder – ohne Nachjustierung. Darüber hinaus präsentieren wir eine einfache zweistufige Lösung, die es ermöglicht, dass unser IOG hochwertige Instanzsegmentierungsmasken aus bestehenden Datensätzen mit vorgefertigten Umrandungsrechtecken wie ImageNet und Open Images erzeugt, was die Überlegenheit unseres IOG als Annotationstool unterstreicht.