Konstantin Egorov Stepan Botman Pavel Blinov Galina Zubkova Anton Ivaschenko Alexander Kolsanov Andrey Savchenko

Abstract

Der Fortschritt in der Remote-PhotoPlethysmographie (rPPG) wird durch kritische Probleme bestehender öffentlich verfügbaren Datensätze eingeschränkt: geringe Datengröße, Datenschutzbedenken bezüglich Gesichts-Videos sowie mangelnde Vielfalt an experimentellen Bedingungen. In dieser Arbeit wird ein neuartiges umfassendes, großskaliges, mehransichtiges Video-Datensatz für die rPPG und die Schätzung von Gesundheitsbiomarkern vorgestellt. Unser Datensatz umfasst 3600 synchronisierte Videorekordungen von 600 Probanden, die unter unterschiedlichen Bedingungen (Ruhezustand und nach körperlicher Belastung) mit mehreren konsumgütertauglichen Kameras aus verschiedenen Blickwinkeln aufgenommen wurden. Um eine multimodale Analyse physiologischer Zustände zu ermöglichen, ist jeder Videorekord mit einem 100-Hz-PPG-Signal sowie erweiterten Gesundheitsmetriken – wie Elektrokardiogramm, arterieller Blutdruck, Biomarker, Körpertemperatur, Sauerstoffsättigung, Atemfrequenz und Stressniveau – verknüpft. Anhand dieses Datensatzes trainieren wir ein effizientes rPPG-Modell und vergleichen dessen Qualität mit bestehenden Ansätzen in Cross-Dataset-Szenarien. Die öffentliche Veröffentlichung unseres Datensatzes und Modells sollte den Fortschritt bei der Entwicklung künstlicher Intelligenz-basierter medizinischer Assistenten erheblich beschleunigen.