多任务循环卷积网络及其相关损失函数在手术视频分析中的应用

手术工具检测和手术阶段识别是手术视频分析中的两个基本而具有挑战性的任务，也是现代手术室中各种应用的重要组成部分。尽管这两个分析任务在临床实践中高度相关，因为手术过程是明确定义的，但大多数先前的方法都是分别解决这些问题，未能充分利用它们之间的关联性。本文提出了一种新颖的方法，通过开发一种具有相关损失的多任务递归卷积网络（MTRCNet-CL）来利用这种关联性，同时提升两项任务的性能。具体而言，我们提出的MTRCNet-CL模型具有端到端架构，包含两个分支。这两个分支共享早期的特征编码器以提取通用视觉特征，同时各自拥有针对特定任务的高层结构。鉴于时间信息对于阶段识别至关重要，我们在阶段识别分支中引入了长短期记忆（LSTM）网络来建模序列依赖关系。更重要的是，设计了一种新的且有效的相关损失函数，通过最小化两个分支预测结果之间的差异来建模每个视频帧中的工具存在与阶段识别之间的关联性。通过低层次特征共享和高层次预测关联的相互利用，我们的MTRCNet-CL方法可以在很大程度上促进两项任务之间的交互，并因此为彼此带来益处。在大型手术视频数据集（Cholec80）上的广泛实验表明，我们提出的方法表现出色，显著超过了现有最先进方法（例如，在工具存在检测的平均精度均值（mAP）上达到89.1%，而现有方法仅为81.0%；在阶段识别的F1分数上达到87.4%，而现有方法仅为84.5%）。代码可在我们的项目网站上获取。