Vision-und-Dialog-Navigation

Roboter, die sich in menschlichen Umgebungen bewegen, sollten Sprache nutzen, um Hilfe anzufordern, und in der Lage sein, menschliche Antworten zu verstehen. Um diese Herausforderung zu untersuchen, stellen wir Cooperative Vision-and-Dialog Navigation (kooperativen Sehen-und-Dialog-Navigation) vor, ein Datensatz mit über 2.000 eingebetteten, mensch-menschlichen Dialogen, die in simulierten, fotorealistischen Haumilieus angesiedelt sind. Der Navigator stellt Fragen an ihren Partner, den Orakel (Oracle), der privilegierten Zugang zu den besten nächsten Schritten hat, die der Navigator nach einem kürzesten Pfad Planer unternehmen sollte. Um Agenten zu trainieren, die eine Umgebung nach einem Zielort durchsuchen sollen, definieren wir die Aufgabe der Navigation aus Dialoggeschichte (Navigation from Dialog History). Ein Agent erhält ein Zielobjekt und eine Dialoggeschichte zwischen Menschen, die zusammenarbeiten, um dieses Objekt zu finden. Der Agent muss dann Navigationsaktionen zur Erreichung des Ziels in unbekannten Umgebungen ableiten. Wir etablieren ein anfängliches multimodales Sequenz-zu-Sequenz-Modell und zeigen, dass das Rückblicken auf längere Teile der Dialoggeschichte die Leistung verbessert. Quellcode und eine Live-Schnittstelle-Demo können unter https://cvdn.dev/ gefunden werden.