摘要
自动手术姿态识别是提高机器人辅助手术智能的关键，例如进行复杂的手术监控和技能评估任务。然而，目前的方法通常单独处理每一帧图像，未能有效利用未来信息来生成结果。在本文中，我们提出了一种基于强化学习和树搜索的框架，用于联合手术姿态分割和分类。该框架训练了一个代理（agent），以类似人类的方式对手术视频进行分割和分类，其直接决策通过树搜索算法适当重新考虑。我们提出的树搜索算法整合了两个设计的神经网络（即策略网络和价值网络）的输出。通过结合不同模型提供的互补信息，我们的框架能够在性能上超越仅使用任一神经网络的基线方法。总体评估表明，我们在JIGSAWS数据集的缝合任务中开发的方法在准确性、编辑得分和F1得分方面始终优于现有方法。本研究强调了在强化学习框架中利用树搜索算法优化动作对于手术机器人应用的重要性。