HyperAIHyperAI

Command Palette

Search for a command to run...

Taktische Rückverfolgung: Selbstkorrektur durch Rückwärtsverfolgung in der visuellen und sprachlichen Navigation

Liyiming Ke1∗ Xiujun Li1,2 Yonatan Bisk1 Ari Holtzman1 Zhe Gan2 Jingjing Liu2 Jianfeng Gao2 Yejin Choi1,3 Siddhartha Srinivasa1

Zusammenfassung

Wir präsentieren den Frontier Aware Search with backTracking (FAST)-Navigator, einen allgemeinen Rahmen für die Aktionsspezifikation, der auf der Room-to-Room (R2R)-Vision-and-Language-Navigation-Herausforderung von Anderson et al. (2018) Stand-des-Wissens-Ergebnisse erzielt. Gegeben sind eine natürlichsprachliche Anweisung und foto-realistische Bildansichten einer bisher unbekannten Umgebung; das Agent soll so schnell wie möglich von der Quelle zum Zielort navigieren. Während alle aktuellen Ansätze lokale Aktionen entscheiden oder gesamte Trajektorien mithilfe des Strahlensuchverfahrens bewerten, balanciert unser Verfahren lokale und globale Signale beim Erkunden einer unbeobachteten Umgebung. Besonders wichtig ist dabei, dass wir gierig handeln können, aber bei Bedarf globale Signale nutzen, um zurückzukehren. Die Anwendung des FAST-Rahmens auf bestehende Stand-des-Wissens-Modelle führte zu einem relativen Gewinn von 17 % und einem absoluten Gewinn von 6 % in Bezug auf den durch die Pfadelementlänge gewichteten Erfolgsgrad (SPL).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Taktische Rückverfolgung: Selbstkorrektur durch Rückwärtsverfolgung in der visuellen und sprachlichen Navigation | Paper | HyperAI