LABRAD-OR：面向动态手术室中准确双模推理的轻量级记忆场景图

现代手术在复杂且动态的环境中进行，涉及医护人员、患者与医疗设备之间不断变化的交互。因此，对手术室（OR）进行整体建模是一项极具挑战性但至关重要的任务，具有优化手术团队表现、推动新型手术技术发展以改善患者预后的巨大潜力。将手术场景以语义场景图（Semantic Scene Graph, SGG）的形式进行整体表征，即用节点表示各类实体、用边表示实体之间的关系，已成为实现精细化语义理解手术环境的有前景方向。本文首次提出引入时间信息，以实现更精确且一致的整体手术室建模。具体而言，我们提出“记忆场景图”（Memory Scene Graphs）的概念，利用前序时间步的场景图作为时序表征，指导当前时刻的预测。我们设计了一种端到端架构，能够智能融合轻量级记忆场景图所携带的时序信息，与来自点云和图像的视觉信息。我们在4D-OR数据集上对所提方法进行了评估，结果表明，引入时序性可显著提升建模的准确性和一致性，宏F1分数提升5%，达到0.88的新SOTA（当前最优）水平。本研究为以记忆场景图形式表征整场手术的历史过程开辟了新路径，显著提升了手术室内的整体理解能力。将场景图作为时序记忆表征，有望为众多时序理解任务提供有力工具。