Konstantin Egorov Stepan Botman Pavel Blinov Galina Zubkova Anton Ivaschenko Alexander Kolsanov Andrey Savchenko

Résumé

Les progrès en imagerie photopléthysmographique à distance (rPPG) sont freinés par des problèmes critiques liés aux jeux de données publics existants : taille réduite, préoccupations liées à la vie privée concernant les vidéos faciales, ainsi que le manque de diversité des conditions expérimentales. Ce travail présente un nouveau jeu de données vidéo à grande échelle, multi-vues et complet, dédié à la rPPG et à l’estimation des biomarqueurs de santé. Notre jeu de données comprend 3 600 enregistrements vidéo synchronisés provenant de 600 sujets, captés dans des conditions variées (repos et post-exercice) à l’aide de plusieurs caméras grand public disposées à différents angles. Pour permettre une analyse multimodale des états physiologiques, chaque enregistrement vidéo est associé à un signal PPG échantillonné à 100 Hz, ainsi qu’à des métriques de santé étendues, telles que l’électrocardiogramme, la pression artérielle, des biomarqueurs, la température corporelle, la saturation en oxygène, la fréquence respiratoire et le niveau de stress. À partir de ces données, nous entraînons un modèle rPPG efficace et évaluons sa qualité par rapport aux approches existantes dans des scénarios de croisement de jeux de données. La mise à disposition publique de notre jeu de données et de notre modèle devrait considérablement accélérer les progrès dans le développement d’assistants médicaux basés sur l’intelligence artificielle.