16日前

RT-BENE:自然環境におけるリアルタイム瞬き推定のためのデータセットとベースライン

{Yiannis Demiris, Kévin Cortacero, Tobias Fischer}
RT-BENE:自然環境におけるリアルタイム瞬き推定のためのデータセットとベースライン
要約

近年、人間-ロボット相互作用、視覚的注意推定、仮想現実ヘッドセット向けのフォーカスレンダリングなど多岐にわたる応用分野の促進により、視線推定手法は著しい進展を遂げている。しかし、多くの視線推定手法は被験者の目が開いていることを前提としており、目が閉じている状態では不規則な視線推定結果をもたらす。本研究では、この前提を打破するため、20万枚以上の眼画像に目が開いているか否かのラベルを付与した新規オープンソースデータセットを提示する。このデータセットには、目が閉じている状態の画像も1万枚以上を含む。さらに、畳み込みニューラルネットワーク(CNN)を用いた瞬き検出を可能にするベースライン手法を提案する。広範な実験を通じて、提案するベースライン手法が精度(precision)および再現率(recall)の観点で優れた性能を発揮することを示した。さらに、最近提案されたRT-GENE視線推定フレームワークに、本研究で提案するRT-BENEベースラインを統合し、リアルタイムで目が開いているか否かを推定する機能を実現した。本研究の成果は、視線推定および瞬き推定の両分野に貢献するとともに、これらの手法の統合化に向けた重要な一歩を踏み出したものと確信している。