弱教師付き物理的制約のない視線推定

物理的に制約のない視線推定における大きな課題は、実際の屋外環境や自然な状況（in-the-wild）において3D視線ラベルを付与された訓練データを取得することである。一方で、制約のない環境における人間同士の相互作用を捉えた動画は非常に豊富に存在しており、フレーム単位の行動ラベルによるアノテーションも比較的容易に行える。本研究では、これまで未解決であった人間相互作用動画からの弱教師あり視線推定という問題に取り組む。我々は、「互いを見つめ合う（Looking At Each Other, LAEO）」という行動を行う際に、視線に関連する強い幾何学的制約が存在するという洞察を活用する。このLAEOラベルから有効な3D視線の教師信号を獲得するために、本タスクに特化した複数の新しい損失関数を含むトレーニングアルゴリズムを提案する。大規模なCMU-PanopticおよびAVA-LAEO行動データセットからの弱教師信号を用いて、最先端の物理的に制約のない屋外視線推定ベンチマーク「Gaze360」において、（a）半教師あり視線推定の精度の大幅な向上、および（b）ドメイン間一般化性能の向上を実証した。本研究のコードは、https://github.com/NVlabs/weakly-supervised-gaze にてオープンソースとして公開している。