基于时间注意力融合的方法在手术三元组识别中的应用

近期手术人工智能领域的一项进展是将手术活动识别为（器械，动词，目标）三元组。尽管这种三元组识别方法为计算机辅助干预提供了详细的信息，但目前的方法仅依赖于单帧特征。利用早期帧的时间线索可以提高从视频中识别手术动作三元组的准确性。在本文中，我们提出了一种名为“时间交汇点”（Rendezvous in Time, RiT）的深度学习模型，该模型在现有的最先进模型“交汇点”（Rendezvous）基础上增加了时间建模。特别关注动词部分，我们的RiT通过探索当前帧与过去帧之间的关联性，学习基于时间注意力的特征，以增强三元组的识别效果。我们在具有挑战性的手术三元组数据集CholecT45上验证了这一提议，展示了动词和三元组识别的改进效果，以及其他涉及动词的交互如（器械，动词）。定性结果表明，RiT在大多数三元组实例中产生了更为平滑的预测结果。我们提出了一种新颖的基于注意力机制的方法，通过视频帧的时间融合来建模手术动作的演变过程，并利用其优势进行手术三元组的识别。