PhysDrive: Ein multimodales Datensatz für die remote physiologische Messung zur Fahrzeuginternen Fahrerüberwachung
PhysDrive: Ein multimodales Datensatz für die remote physiologische Messung zur Fahrzeuginternen Fahrerüberwachung
Jiyao Wang Xiao Yang Qingyong Hu Jiankai Tang Can Liu Dengbo He Yuntao Wang Yingcong Chen Kaishun Wu

Abstract
Robuste und unauffällige physiologische Überwachung im Fahrzeug ist entscheidend für die Sicherheit beim Fahren und die Benutzererfahrung. Während die kontaktlose physiologische Messung (Remote Physiological Measurement, RPM) eine vielversprechende, nicht-invasive Lösung darstellt, ist deren Übertragung in realitätsnahe Fahrszenarien kritisch eingeschränkt durch den Mangel an umfassenden Datensätzen. Bestehende Ressourcen sind oft aufgrund ihrer begrenzten Skalierung, geringen Vielfalt an Modalitäten, eingeschränkter Bandbreite an biometrischen Annotationen sowie eingeschränktem Erfassungsumfang der Bedingungen auf natürliche Fahrsituationen beschränkt und lassen inhärente Herausforderungen des realen Fahrverkehrs unberücksichtigt. Hier präsentieren wir PhysDrive, den ersten großskaligen multimodalen Datensatz für kontaktlose physiologische Sensierung im Fahrzeug, der speziell auf unterschiedliche Modality-Setups und Fahrfaktoren abgestimmt ist. PhysDrive erfasst Daten von 48 Fahrern, einschließlich synchronisierter RGB-, Nahinfrarot-Kamera- und Roh-mmWave-Radar-Daten, ergänzt um sechs synchronisierte Referenzwerte (EKG, BVP, Atemfrequenz, Herzfrequenz, Atemfrequenz, SpO2). Der Datensatz umfasst eine breite Palette natürlicher Fahrsituationen, darunter Fahrerbewegungen, dynamisches Tageslicht, verschiedene Fahrzeugtypen und unterschiedliche Straßenbedingungen. Wir evaluieren umfassend sowohl klassische Signalverarbeitungs- als auch Deep-Learning-Methoden auf PhysDrive und etablieren damit eine umfassende Benchmark über alle Modalitäten hinweg. Zudem veröffentlichen wir den vollständigen Open-Source-Code mit Kompatibilität zu gängigen öffentlichen Werkzeugkästen. Wir sehen in PhysDrive eine grundlegende Ressource, die die Forschung zu multimodaler Fahrerüberwachung und intelligenten Cockpit-Systemen maßgeblich voranbringen wird.
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.