再帰型CNNを用いた外観と形状の手がかりを使用した3次元視線推定

視線行動は、社会的信号処理および人間とコンピュータの相互作用において重要な非言語的な手がかりです。本論文では、マルチモーダルな再帰型畳み込みニューラルネットワーク（CNN）を用いて、リモートカメラからの個人や頭部姿勢に依存しない3次元視線推定の問題に取り組んでいます。静止画における視線の推定のために、顔、目周辺領域、および顔のランドマークを個別のストリームとしてCNNに組み合わせることを提案します。その後、視線の動的性質を活用するために、シーケンス内のすべてのフレームから学習された特徴量をmany-to-oneの再帰モジュールに入力し、最終フレームの3次元視線ベクトルを予測します。我々のマルチモーダルな静的な解決策は、さまざまな頭部姿勢と視線方向で評価され、EYEDIAPデータセットにおいて既存の最先端技術に対して14.6%という大幅な改善を達成しました。さらに、時間的モダリティが含まれることで4%の改善が見られました。