要約
コンピュータビジョンシステムが明示的な監督を必要とするのとは異なり、人間は環境にいる人々を観察することで顔の表情を学ぶことができます。本論文では、このような能力を機械ビジョンにも開発する方法について考察します。まず、ビデオ内で客観的に測定可能なイベントと顔の表情との関連付け問題を取り上げます。特に、参加者が大きな金額を獲得するために競うゲームショーに焦点を当てます。私たちはビデオからゲームに影響を与えるイベントと対応する顔の表情を客観的かつ自動的に抽出し、研究のために大量のラベル付きデータを得ました。また、FERやSFEW 2.0などのベンチマークを使用して、最先端の深層ニューラルネットワークを開発し、顔認証データでの事前学習がこのタスクにとって非常に有益であることを示しました。さらに、これらのモデルを拡張して顔の表情からビデオ内のイベントを予測し、それらから名付けられる表情を学習することを目指しました。データセットと感情認識モデルは http://www.robots.ox.ac.uk/~vgg/data/facevalue で利用可能です。