内視鏡動画における器械組織相互作用の認識 - アクション三重奏を用いて

手術活動の認識は、オペレーティングルームでの状況認識型意思決定支援を発展させる上で不可欠な要素です。本研究では、細かい粒度の活動の認識に取り組んでいます。これらの活動は、<器具, 動詞, 対象>というアクショントリプレットで表現され、器具の使用方法をモデル化します。この目的のために、私たちは新しい腹腔鏡データセットCholecT40を導入しました。これは公開データセットCholec80から40本の動画を選出し、すべてのフレームが128種類のトリプレットクラスでアノテーションされたものです。さらに、これらのトリプレットを直接動画データから認識する手法を提案しています。この手法はClass Activation Guide (CAG)と呼ばれるモジュールに依存しており、器具の活性化マップを使用して動詞と対象の認識をガイドします。同じフレーム内での複数のトリプレットの認識をモデル化するために、私たちは3D Interaction Spaceという学習可能な空間も提案しています。これはトリプレット成分間の関連性を捉えるために設計されています。最後に、CholecT40におけるいくつかの削除実験や基準との比較を通じて、これらの貢献が持つ重要性を示しています。