HyperAIHyperAI

Command Palette

Search for a command to run...

Text2Loc: 3D-Punktwolken-Ortung aus natürlicher Sprache

Yan Xia Letian Shi Zifeng Ding João F. Henriques Daniel Cremers

Zusammenfassung

Wir behandeln das Problem der 3D-Punktwolkenlokalisierung basierend auf wenigen natürlichen sprachlichen Beschreibungen und stellen ein neuartiges neuronales Netzwerk, Text2Loc, vor, das die semantischen Beziehungen zwischen Punkten und Text vollständig interpretiert. Text2Loc folgt einer grob-zu-fein-Lokalisierungspipeline: zunächst die globale Platzidentifikation mittels Text-Submap, gefolgt von einer feinen Lokalisierung. Bei der globalen Platzidentifikation werden die relationalen Dynamiken zwischen den einzelnen textuellen Hinweisen in einem hierarchischen Transformer mit Max-Pooling (HTM) erfasst, während mittels text-submap kontrastiver Lernansatz ein Gleichgewicht zwischen positiven und negativen Paaren gewahrt wird. Darüber hinaus präsentieren wir eine neuartige, match-freie Methode zur feinen Lokalisierung, die die Lokalisierungsvorhersagen weiter verfeinert und vollständig auf die komplizierte Text-Instanz-Abgleichung verzichtet. Diese Methode ist leichter, schneller und genauer als bisherige Ansätze. Ausführliche Experimente zeigen, dass Text2Loc die Lokalisierungsgenauigkeit auf dem KITTI360Pose-Datensatz gegenüber dem Stand der Technik um bis zu 2× verbessert. Die Projektseite ist öffentlich unter \url{https://yan-xia.github.io/projects/text2loc/} zugänglich.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp