Jiyao Wang Xiao Yang Qingyong Hu Jiankai Tang Can Liu Dengbo He Yuntao Wang Yingcong Chen Kaishun Wu

要約
車内における堅牢かつ非侵襲的な生理情報モニタリングは、運転の安全性およびユーザー体験を確保するために不可欠である。遠隔生理情報測定(RPM)は非侵襲的な有望な解決策を提供しているが、実際の運転環境への適用は、包括的なデータセットの不足により著しく制限されている。既存のデータリソースは、規模の小ささ、モダリティの多様性の不足、バイオメトリックなアノテーションの範囲の狭さ、および撮影条件の多様性に欠けており、実際の運転状況に内在する課題を十分に捉えていない。本研究では、さまざまなモダリティ設定および運転要因を特に配慮した、接触なし車内生理情報センシングを目的とした初めての大規模マルチモーダルデータセット「PhysDrive」を提案する。PhysDriveは48名のドライバーから得られたデータを収集しており、同期されたRGBカメラ、近赤外カメラ、および生のmmWaveレーダーデータに加え、6つの同期された真値(ECG、BVP、呼吸、心拍数、呼吸数、SpO2)を含んでいる。自然主義的な運転状況の広範な範囲をカバーしており、ドライバーの動き、変動する自然光、車両種別、道路状況などを含む。本研究では、PhysDrive上で信号処理手法およびディープラーニング手法を広範に評価し、すべてのモダリティにわたる包括的なベンチマークを構築した。また、主流の公開ツールボックスと互換性を持つ完全なオープンソースコードを公開する。本研究では、PhysDriveがマルチモーダルドライバー監視およびスマートコックピットシステムに関する研究を加速する基盤的リソースとして機能することを期待している。