16 天前

RT-BENE:自然环境下实时眨眼估计的数据集与基线方法

{Yiannis Demiris, Kévin Cortacero, Tobias Fischer}
RT-BENE:自然环境下实时眨眼估计的数据集与基线方法
摘要

近年来,眼动估计方法取得了显著进展,这主要得益于其在人机交互、视觉注意力估计以及虚拟现实头显中的聚焦渲染等众多应用场景的推动。然而,多数眼动估计方法通常假设被试者眼睛处于睁开状态;当眼睛闭合时,这些方法往往会产生不准确甚至异常的估计结果。针对这一假设限制,本文首先提出一个全新的开源数据集,其中包含超过20万张眼部图像的眼部开闭标注,其中包括超过1万张闭眼图像。此外,我们还提出了一系列基于卷积神经网络的基线方法,用于实现眨眼检测。在大量实验中,我们验证了所提出的基线方法在精确率和召回率方面均表现出色。进一步地,我们将所提出的RT-BENE基线方法集成至近期提出的RT-GENE眼动估计框架中,实现了对眼部开闭状态的实时推理。我们认为,本工作将同时促进眼动估计与眨眼检测方法的发展,并为两类任务的统一建模迈出重要一步。

RT-BENE:自然环境下实时眨眼估计的数据集与基线方法 | 最新论文 | HyperAI超神经