HyperAIHyperAI

Command Palette

Search for a command to run...

弱教師付き物理的制約のない視線推定

Rakshit Kothari Shalini De Mello Umar Iqbal Wonmin Byeon Seonwook Park Jan Kautz

概要

物理的に制約のない視線推定における大きな課題は、実際の屋外環境や自然な状況(in-the-wild)において3D視線ラベルを付与された訓練データを取得することである。一方で、制約のない環境における人間同士の相互作用を捉えた動画は非常に豊富に存在しており、フレーム単位の行動ラベルによるアノテーションも比較的容易に行える。本研究では、これまで未解決であった人間相互作用動画からの弱教師あり視線推定という問題に取り組む。我々は、「互いを見つめ合う(Looking At Each Other, LAEO)」という行動を行う際に、視線に関連する強い幾何学的制約が存在するという洞察を活用する。このLAEOラベルから有効な3D視線の教師信号を獲得するために、本タスクに特化した複数の新しい損失関数を含むトレーニングアルゴリズムを提案する。大規模なCMU-PanopticおよびAVA-LAEO行動データセットからの弱教師信号を用いて、最先端の物理的に制約のない屋外視線推定ベンチマーク「Gaze360」において、(a)半教師あり視線推定の精度の大幅な向上、および(b)ドメイン間一般化性能の向上を実証した。本研究のコードは、https://github.com/NVlabs/weakly-supervised-gaze にてオープンソースとして公開している。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
弱教師付き物理的制約のない視線推定 | 記事 | HyperAI超神経