PEg TRAnsfer Workflow 認識課題報告：多モーダルデータは認識を改善するか？

本論文では、「PEG Transfer Workflow Recognition」（PETRAW）チャレンジの設計と結果を紹介します。このチャレンジの目的は、ビデオ、運動学、セマンティックセグメンテーションデータの1つまたは複数を使用して手術ワークフロー認識手法を開発し、それらの追加価値を研究することでした。PETRAWチャレンジでは、仮想シミュレーターで実行された150のPEG転送シークエンスのデータセットが提供されました。このデータセットには、ビデオ、運動学、セマンティックセグメンテーション、および3つの異なる粒度レベル（フェーズ、ステップ、アクティビティ）でシークエンスを記述したワークフロー注釈が含まれていました。参加者に対して5つのタスクが提案され、そのうち3つは利用可能なモダリティの1つを使用してすべての粒度レベルを認識することに関連していました。残り2つのタスクは、複数のモダリティを使用した認識に焦点を当てていました。7つのチームが少なくとも1つのタスクに参加し、4つのチームがすべてのタスクに参加しました。最良の結果はビデオと運動学データを使用した場合に得られました。4つのチームがすべてのタスクに参加した場合においてはAD-Accuracy（平均応用依存バランス精度）が93%から90%となりました。ビデオ/運動学ベース的手法と単一モダリティベース的手法との間での改善はすべてのチームにおいて有意でした。しかし、ビデオ/運動学ベース的手法と運動学ベース的手法との間でのテスト実行時間の差異も考慮する必要があります。約20倍から200倍もの計算時間を費やすことで3%未満の改善を得ることが適切なのでしょうか？PETRAWデータセットはwww.synapse.org/PETRAWで公開されており、手術ワークフロー認識に関するさらなる研究を促進するために利用できます。