少ショット適応視線推定

個人間の解剖学的な違いは、個人に依存しない視線推定ネットワークの精度を制限しています。しかし、より高い品質を必要とするアプリケーションを可能にするために、視線誤差をさらに低減する必要があります。少ない校正サンプルで視線ネットワークをパーソナライズすることで、さらなる性能向上が達成できます。しかし、過剰なパラメータを持つニューラルネットワークは、少ないサンプルから学習することが難しく、すぐに過学習してしまう傾向があります。これらの課題に取り組み、少ない（9つ以下の）校正サンプルで個人固有の視線ネットワークを学習するための新しいフレームワークであるFew-shot Adaptive GaZE Estimation (FAZE) を提案します。FAZEは、分離型エンコーダー-デコーダー構造とメタ学習を使用して訓練された高適応性の視線推定器によって、回転に意識した視線の潜在表現を学習します。このフレームワークは3つのサンプルでも新しい人物に適応し、大幅な性能向上をもたらすことができ、GazeCaptureデータセットにおいて3.18度という最先端の性能を達成しました。これは従来技術に対して19%の改善です。当社はコードをオープンソース化し、https://github.com/NVlabs/few_shot_gaze で公開しています。