2 个月前
EfficientPhys:实现简单、快速且准确的基于摄像头的生命体征测量
Xin Liu; Brian L. Hill; Ziheng Jiang; Shwetak Patel; Daniel McDuff

摘要
基于摄像头的生理测量是一个不断发展的领域,神经模型在其中提供了最先进的性能。先前的研究探索了各种“端到端”模型;然而,这些方法仍然需要多个预处理步骤。这些额外的操作通常难以实现,使得复现和部署变得困难,并且其计算开销甚至可能高于“核心”网络本身。本文中,我们提出了两种新颖且高效的神经模型——EfficientPhys,用于基于摄像头的生理测量,消除了对面部检测、分割、归一化、颜色空间转换或其他任何预处理步骤的需求。通过使用原始视频帧作为输入,我们的模型在三个公开数据集上取得了优异的性能。我们展示了无论使用变压器(transformer)还是卷积(convolutional)主干网络,这一点都成立。此外,我们评估了所提出的网络的延迟,并表明我们最轻量级的网络在效率上也实现了33%的提升。