ホリスティックな手術場面理解に向けて

手術介入の研究におけるほとんどのベンチマークは、特定の課題に焦点を当てており、異なるタスク間の内在的な相補性を活用していません。本研究では、包括的な手術シーン理解を目指した新しい実験フレームワークを提案します。まず、フェーズ、ステップ、器具、および原子的視覚行動認識（PSI-AVA）データセットを紹介します。PSI-AVAは、ロボット支援下での根治的前立腺切除術ビデオにおいて、長期的な（フェーズとステップ認識）および短期的な推論（器具検出と新たな原子的行動認識）の両方のアノテーションを含んでいます。次に、アクション、フェーズ、器具、およびステップ認識用のトランスフォーマー（TAPIR）を強力なベースラインとして提示します。TAPIRは当該データセットの多段階アノテーションを活用し、器具検出タスクで学習された表現を利用して分類能力を向上させています。我々のPSI-AVAおよび他の公開データベースにおける実験結果は、当フレームワークが包括的な手術シーン理解に関する今後の研究を促進する適切性を示しています。