PEG传输工作流程识别挑战报告：多模态数据是否提高识别效果？

本文介绍了“PEg TRAnsfert Workflow recognition”（PETRAW）挑战的设计及其结果，该挑战的目标是基于视频、运动学和分割数据中的一种或多种模态开发手术工作流程识别方法，以研究这些模态的附加价值。PETRAW挑战提供了一个包含150个虚拟模拟器上完成的钉转移序列的数据集。该数据集由视频、运动学数据、语义分割和工作流程注释组成，这些注释描述了三个不同粒度级别的序列：阶段、步骤和活动。向参与者提出了五项任务：其中三项任务涉及使用一种可用模态识别所有粒度级别，而其他两项任务则涉及使用多种模态进行识别。共有七支团队参与了至少一项任务，其中有四支团队参与了所有任务。在参与所有任务的四支团队中，最佳结果是在使用视频和运动学数据时获得的，其AD-Accuracy（应用依赖平衡准确率）介于93%至90%之间。对于所有团队而言，基于视频/运动学的方法与单模态方法相比有显著改进。然而，基于视频/运动学的方法与仅基于运动学的方法在测试执行时间上的差异也需考虑。是否值得花费20到200倍的计算时间来换取不到3%的性能提升？PETRAW数据集已公开发布于www.synapse.org/PETRAW，以鼓励对手术工作流程识别领域的进一步研究。