EgoThink は、清華大学が提案した一人称視点に基づいた視覚的な質問応答ベンチマーク データ セットです。データセットには、12 の次元に分類された 6 つのコア コンピテンシーをカバーする 700 枚の画像が含まれています。 EgoThink の画像は、Ego4D 一人称ビデオ データ セットのサンプル画像から取得されており、データの多様性を確保するために、各ビデオは最大 2 つの画像のみをサンプリングします。

データセットを構築する過程で、より高品質で、一人称視点の思考が明確に示される写真のみが選択されました。データ セットは手動で注釈が付けられ、各ディメンションには、複数の一人称視点からの実際のシーンから派生した、注釈付きの詳細な質問と回答が少なくとも 50 件含まれています。 EgoThink は、特に一人称視点のタスクにおける VLM のパフォーマンスの評価と改善に幅広い用途があり、将来の身体化された人工知能やロボット工学の研究に貴重なリソースを提供します。