LABRAD-OR：動的オペレーティングルームにおける正確なバイモーダル推論のための軽量メモリシーングラフ

現代の手術は、医療スタッフ、患者、機器間の変化し続ける相互作用を含む複雑かつ動的な環境で行われる。したがって、手術室（OR）全体を包括的にモデル化することは、手術チームのパフォーマンス最適化や、患者の治療結果を改善するための新規手術技術の開発を支援する上で、挑戦的ではあるが不可欠な課題である。手術シーンを意味論的シーングラフ（SGG）として表現するアプローチは、対象をノード、それらの関係をエッジで表すことで、細粒度な意味論的OR理解を可能にする有望な方向性である。本研究では、より正確かつ一貫性のある包括的ORモデリングのため、時間情報を活用する初めての手法を提案する。具体的には、過去の時間ステップにおけるシーングラフを記憶として用いる「メモリシーングラフ」を導入し、現在の予測を時間的な情報を通じて導く。本手法では、軽量なメモリシーングラフの時間的情報と、点群および画像から得られる視覚的情報を知能的に統合するエンドツーエンドアーキテクチャを設計した。我々の手法は4D-ORデータセット上で評価され、時間情報を統合することで、より正確かつ一貫性のある結果が得られ、マクロF1スコアで+5%の向上を達成し、新たなSOTA（最優秀結果）である0.88を記録した。本研究は、手術全体の履歴をメモリシーングラフで表現する道を開き、ORにおける包括的理解を向上させるものである。シーングラフを記憶表現として導入することは、多くの時間的理解タスクに有用なツールを提供する可能性を秘めている。