HyperAIHyperAI

Command Palette

Search for a command to run...

FocalClick: Hin zu einer praktikablen interaktiven Bildsegmentierung

Xi Chen Zhiyan Zhao Yilei Zhang Manni Duan Donglian Qi Hengshuang Zhao

Zusammenfassung

Interaktive Segmentierung ermöglicht es Benutzern, Zielmasken durch positive oder negative Klicks zu extrahieren. Obwohl diese Technik bereits von zahlreichen vorherigen Arbeiten erforscht wurde, besteht weiterhin eine Lücke zwischen akademischen Ansätzen und industriellen Anforderungen: Erstens sind bestehende Modelle nicht effizient genug, um auf leistungsschwachen Geräten zu funktionieren; zweitens erzielen sie schlechte Ergebnisse bei der Nachbearbeitung bereits vorhandener Masken, da sie nicht verhindern können, dass korrekte Bereiche zerstört werden. FocalClick löst beide Probleme gleichzeitig, indem es die Maske lokalisierte Bereiche vorhersagt und aktualisiert. Zur Verbesserung der Effizienz zerlegen wir die langsame Vorhersage über das gesamte Bild in zwei schnelle Inferenzen auf kleinen Bildausschnitten: eine grobe Segmentierung auf dem Ziel-Ausschnitt (Target Crop) und eine lokale Verbesserung auf dem Fokus-Ausschnitt (Focus Crop). Um das Modell auch mit bereits vorhandenen Masken nutzen zu können, führen wir eine Unter-Aufgabe namens Interaktive Maskenkorrektur (Interactive Mask Correction) ein und schlagen Progressive Merge als Lösung vor. Progressive Merge nutzt morphologische Informationen, um zu entscheiden, wo Inhalte erhalten und wo aktualisiert werden sollen, wodurch Benutzer beliebige vorliegende Masken effektiv nachbearbeiten können. FocalClick erzielt Ergebnisse, die mit den State-of-the-Art-Methoden konkurrieren, jedoch mit deutlich geringeren FLOPs (Floating Point Operations). Zudem zeigt es eine signifikante Überlegenheit bei der Korrektur bereits bestehender Masken. Der Quellcode und die Datensätze werden unter github.com/XavierCHEN34/ClickSEG veröffentlicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp