2 个月前
CholecTriplet2022：展示工具并识别三元组——一项用于手术动作三元组检测的内镜视觉挑战
Nwoye, Chinedu Innocent ; Yu, Tong ; Sharma, Saurav ; Murali, Aditya ; Alapatt, Deepak ; Vardazaryan, Armine ; Yuan, Kun ; Hajek, Jonas ; Reiter, Wolfgang ; Yamlahi, Amine ; Smidt, Finn-Henri ; Zou, Xiaoyang ; Zheng, Guoyan ; Oliveira, Bruno ; Torres, Helena R. ; Kondo, Satoshi ; Kasai, Satoshi ; Holm, Felix ; Özsoy, Ege ; Gui, Shuangchun ; Li, Han ; Raviteja, Sista ; Sathish, Rachana ; Poudel, Pranav ; Bhattarai, Binod ; Wang, Ziheng ; Rui, Guo ; Schellenberg, Melanie ; Vilaça, João L. ; Czempiel, Tobias ; Wang, Zhenkun ; Sheet, Debdoot ; Thapa, Shrawan Kumar ; Berniker, Max ; Godau, Patrick ; Morais, Pedro ; Regmi, Sudarshan ; Tran, Thuy Nuong ; Fonseca, Jaime ; Nölke, Jan-Hinrich ; Lima, Estevão ; Vazquez, Eduard ; Maier-Hein, Lena ; Navab, Nassir ; Mascagni, Pietro ; Seeliger, Barbara ; Gonzalez, Cristians ; Mutter, Didier ; Padoy, Nicolas
摘要
将手术活动形式化为使用的器械、执行的动作和目标解剖结构的三元组，正逐渐成为手术活动建模的金标准方法。这种方法的优势在于，它有助于更详细地理解工具与组织之间的相互作用，从而可以开发出更好的人工智能辅助图像引导手术技术。2021年引入的CholecTriplet挑战赛以及早期的努力已经整合了旨在从手术录像中识别这些三元组的技术。如果还能估计这些三元组的空间位置，则可以为计算机辅助干预提供更加精确的术中情境感知决策支持。本文介绍了CholecTriplet2022挑战赛，该挑战赛将手术动作三元组建模从识别扩展到检测。它包括对每个可见手术器械（或工具）进行弱监督边界框定位，作为关键参与者，并以<器械, 动词, 目标>的形式对每种工具活动进行建模。文章描述了一种基线方法和在挑战赛中提出的10种新的深度学习算法来解决这一任务。此外，还提供了对这些方法的详尽方法论比较、多指标下的深入结果分析、视觉和程序挑战的意义，以及对未来研究方向和外科应用的有益见解。