通过动作三元组在内窥镜视频中识别器械-组织交互

手术活动识别是开发用于手术室的情境感知决策支持系统的重要组成部分。在本研究中，我们致力于细粒度活动的识别，这些活动被建模为动作三元组 <器械, 动词, 目标>，表示工具的活动。为此，我们引入了一个新的腹腔镜数据集 CholecT40，该数据集由公共数据集 Cholec80 中的 40 段视频组成，所有帧均使用 128 个三元组类别进行了标注。此外，我们提出了一种直接从视频数据中识别这些三元组的方法。该方法依赖于一个称为类激活引导（Class Activation Guide, CAG）的模块，该模块利用器械激活图来指导动词和目标的识别。为了对同一帧中的多个三元组进行建模，我们还提出了一种可训练的三维交互空间（3D Interaction Space），该空间捕捉了三元组各组件之间的关联。最后，通过在 CholecT40 数据集上进行多项消融实验和与基线方法的比较，我们展示了这些贡献的重要性。