RT-BENE : Un jeu de données et des références pour l'estimation en temps réel des clignements d'yeux dans des environnements naturels

Ces dernières années, les méthodes d’estimation du regard ont connu des progrès considérables, portées par un large éventail d’applications, notamment l’interaction homme-robot, l’estimation de l’attention visuelle et le rendu foveal pour les casques de réalité virtuelle. Toutefois, de nombreuses approches d’estimation du regard supposent généralement que les yeux du sujet sont ouverts ; en cas de yeux fermés, ces méthodes produisent des estimations irrégulières du regard. Dans ce travail, nous remettons en question cette hypothèse en introduisant tout d’abord un nouveau jeu de données open source, annoté pour l’ouverture des yeux, comprenant plus de 200 000 images d’yeux, dont plus de 10 000 présentant des yeux fermés. Nous proposons également des méthodes de référence basées sur des réseaux de neurones convolutifs, permettant la détection des clignements. À l’issue d’expérimentations étendues, nous montrons que les méthodes proposées obtiennent de bons résultats en termes de précision et de rappel. Nous intégrons par la suite nos méthodes de référence RT-BENE dans le cadre récent RT-GENE d’estimation du regard, où elles permettent une inférence en temps réel de l’état d’ouverture des yeux. Nous soutenons que notre travail bénéficiera à la fois aux méthodes d’estimation du regard et aux méthodes de détection des clignements, et qu’il constitue une étape vers une unification de ces deux approches.