HyperAIHyperAI

Command Palette

Search for a command to run...

リタッチダウン:言語接地タスクにおけるStreet View向けの共有可能なリソースとしてのStreetLearnへのタッチダウンの追加

Harsh Mehta Yoav Artzi Jason Baldridge Eugene Ie Piotr Mirowski

概要

タッチダウンデータセット(Chenら、2019年)は、ニューヨーク市内の街路をナビゲーションするための人物アノテーターによる指示および、特定の地点における空間的記述の解釈に関する指示を提供している。タッチダウンタスクに向けた研究を広く促進するため、本研究ではタッチダウンに必要となる29,000枚の原始ストリートビューパノラマを公開する。これらのパノラマは、StreetLearnデータセットの公開プロセス(Mirowskiら、2019年)に従い、個人を特定できる情報の有無を確認し、必要に応じてぼかし処理を施している。これらは既にStreetLearnデータセットに追加されており、これまでのStreetLearn用に使用された同一のプロセスにより取得可能である。また、タッチダウンタスクの2つの課題—視覚言語ナビゲーション(VLN)および空間的記述解釈(SDR)—に対応する参考実装も提供している。本研究では、我々のモデルの結果をChenら(2019年)の報告値と比較し、StreetLearnに追加したパノラマがタッチダウンの両タスクを完全にサポートできることを示した。さらに、今後の研究や比較のための有効な基盤として利用可能であることを確認した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています