弱监督卷积LSTM方法在腹腔镜视频中的工具跟踪

目的：实时手术工具跟踪是未来智能手术室（OR）的核心组成部分，因为它对于分析和理解手术活动具有重要作用。目前，视频中的手术工具跟踪方法需要在手动标注了工具空间位置的数据上进行训练。生成这样的训练数据既困难又耗时。因此，我们提出仅使用二值存在注释来训练腹腔镜视频中的工具跟踪器。方法：所提出的方案由一个卷积神经网络（CNN）+ 卷积长短期记忆网络（ConvLSTM）组成，并且以端到端的方式进行弱监督训练，仅基于工具的二值存在标签。我们利用ConvLSTM建模手术工具运动中的时间依赖关系，并利用其时空能力平滑定位热图（Lh-maps）中的类别峰值激活。结果：我们在CNN模型的基础上构建了一个基线跟踪器，并证明了基于ConvLSTM的方法在工具存在检测、空间定位和运动跟踪方面分别优于基线方法超过5.0%、13.9%和12.6%。结论：本文中，我们展示了仅使用二值存在标签就足以通过我们提出的方法训练深度学习跟踪模型。此外，我们还证明了ConvLSTM可以利用手术视频中连续图像帧的时空一致性来提高工具存在检测、空间定位和运动跟踪的效果。关键词：手术流程分析、工具跟踪、弱监督、时空一致性、ConvLSTM、内窥镜视频