HyperAIHyperAI

Command Palette

Search for a command to run...

OpenMask3D: Offen-vokabuläre 3D-Instanzsegmentierung

Ayça Takmaz Elisabetta Fedele Robert W. Sumner Marc Pollefeys Federico Tombari Francis Engelmann

Zusammenfassung

Wir stellen die Aufgabe der offenen Vokabular-3D-Instanzsegmentierung vor. Aktuelle Ansätze für die 3D-Instanzsegmentierung können in der Regel nur Objektkategorien aus einer vordefinierten, geschlossenen Menge von Klassen erkennen, die in den Trainingsdatensätzen annotiert sind. Dies führt zu erheblichen Einschränkungen bei realen Anwendungen, bei denen man möglicherweise Aufgaben durchführen muss, die von neuartigen, offenen Vokabularanfragen geleitet werden, die sich auf eine Vielzahl von Objekten beziehen. Kürzlich sind Methoden zur offenen Vokabular-3D-Szenenverstehens entstanden, um dieses Problem anzugehen, indem sie für jeden Punkt in der Szene abfragbare Merkmale lernen. Obwohl eine solche Repräsentation direkt zur Durchführung der semantischen Segmentierung verwendet werden kann, können bestehende Methoden mehrere Objektinstanzen nicht trennen. In dieser Arbeit adressieren wir diese Einschränkung und schlagen OpenMask3D vor, einen Ansatz für die offene Vokabular-3D-Instanzsegmentierung ohne vorherige Kenntnis (zero-shot). Unser Modell aggregiert maskenbezogene Merkmale durch mehrsichtige Fusion von CLIP-basierten Bildembeddings, geleitet durch vorhersagte klassifikationsunabhängige 3D-Instanzmasken. Experimente und Abstraktionsstudien auf ScanNet200 und Replica zeigen, dass OpenMask3D andere offene Vokabularmethoden übertrifft, insbesondere bei der langen Schwanzverteilung (long-tail distribution). Qualitative Experimente verdeutlichen zudem die Fähigkeit von OpenMask3D, Objekteigenschaften basierend auf freiformigen Anfragen zu segmentieren, die Geometrie, Handhabbarkeit und Materialien beschreiben.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
OpenMask3D: Offen-vokabuläre 3D-Instanzsegmentierung | Paper | HyperAI