弱教師付き畳み込みLSTMアプローチによる腹腔鏡動画中の器具追跡

目的: 実時間手術器具追跡は、将来の知能型手術室（OR）の主要な構成要素であり、手術活動の分析と理解に極めて重要です。現在の手術器具追跡方法は、器具の空間位置が手動で注釈されたデータで学習する必要があります。このような訓練データを生成することは困難かつ時間がかかります。そこで、我々は腹腔鏡映像用の器具追跡器を訓練するために、バイナリ存在注釈のみを使用することを提案します。方法: 提案手法は、CNN + 畳み込みLSTM（ConvLSTM）ニューラルネットワークをエンドツーエンドで学習し、弱い教師あり学習により器具のバイナリ存在ラベルのみで監督されます。ConvLSTM を使用して手術器具の動きにおける時系列依存関係をモデル化し、その空間時系列能力を利用して局所化ヒートマップ（Lh-マップ）でのクラスピーク活性化を平滑化します。結果: 我々は CNN モデルに基づく基準トラッカーを構築し、提案手法が ConvLSTM を用いたアプローチが基準トラッカーに対して器具存在検出、空間局所化、および運動追跡においてそれぞれ 5.0% 以上、13.9% 以上、12.6% 以上の性能向上を達成していることを示しました。結論: この論文では、我々が提案する手法を使用することでバイナリ存在ラベルだけで深層学習トラッキングモデルを訓練することが十分であることを示しています。また、ConvLSTM が手術映像内の連続画像フレーム間の空間時系列一貫性を利用し、器具存在検出、空間局所化、および運動追跡を改善できることも示しています。キーワード: 手術フローアナリシス, 器具追跡, 弱い教師あり学習, 空間時系列一貫性, ConvLSTM, 内視鏡映像