ビジョンベースのナビゲーション 言語ベースのアシスタンス

視覚に基づくナビゲーションと言語による支援は、視覚認識と言語ガイダンスを組み合わせたタスクで、高レベルの言語目標を通じて実際の屋内環境で特定の物体を見つけ出すためにエージェントをナビゲートすることを目指しています。このタスクは、依頼者が高レベルの目的だけを提供し、エージェントが道に迷ったときに経験豊富なアドバイザーに具体的な言語サブゴールを積極的に問い合わせることで、ナビゲーションプロセスを継続するという現実世界のシナリオを模擬しています。この技術は、ロボットの自律性と対話能力を向上させる上で重要な応用価値を持っています。