HyperAIHyperAI

Command Palette

Search for a command to run...

Multimodale Textstilübertragung für Outdoor-Vision-and-Language-Navigation

Wanrong Zhu Xin Eric Wang Tsu-Jui Fu An Yan Pradyumna Narayana Kazoo Sone Sugato Basu William Yang Wang

Zusammenfassung

Ein der herausforderndsten Themen im Bereich des Natural Language Processing (NLP) ist die visuell verankerte Sprachverstehens- und Schlussfolgerungsfähigkeit. Outdoor Vision-and-Language-Navigation (VLN) stellt eine solche Aufgabe dar, bei der ein Agent natürliche Sprachanweisungen folgt und sich in einer realen städtischen Umgebung bewegt. Aufgrund des Mangels an menschlich annotierten Anweisungen, die komplexe städtische Szenen veranschaulichen, bleibt die Outdoor-VLN eine schwierige Aufgabe. In diesem Paper wird ein Multimodaler Text-Stiltransfer (Multimodal Text Style Transfer, MTST)-Lernansatz vorgestellt, der externe multimodale Ressourcen nutzt, um die Datenknappheit bei Outdoor-Navigationsszenarien zu reduzieren. Zunächst bereichern wir die Navigationssdaten durch Übertragung des Stils von Anweisungen, die von der Google Maps-API generiert wurden, und pre-trainieren anschließend den Navigator auf der erweiterten externen Datensammlung für Outdoor-Navigation. Experimentelle Ergebnisse zeigen, dass unser MTST-Lernansatz modellunabhängig ist und unsere Methode die Baseline-Modelle auf der Outdoor-VLN-Aufgabe signifikant übertrifft, wobei die Aufgabenabgeschlossenheitsrate auf dem Testset um 8,7 % relativ gesteigert wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp