要約
データ生成とアノテーション作成に加えて、合理的なデータ分割戦略および評価指標の策定は、ベンチマークデータセットの作成において不可欠です。この実践は、データの使用における合意形成、均一な評価、ならびにデータセット上の研究手法の統一的な比較を確保します。本研究では、手術活動を<器具, 動詞, 対象>というトリプレット形式で定式化した50ビデオの手術データセットであるCholecT50に焦点を当てます。本論文では、CholecT50およびCholecT45データセットの標準的な分割方法を紹介し、それらが既存のデータセット使用方法とどのように比較されるかを示します。CholecT45は、CholecT50データセットから初めて公開された45ビデオのサブセットです。また、手術トリプレットに対するモデル評価用のメトリクスライブラリ「ivtmetrics」を開発しました。さらに、最も広く使用されている深層学習フレームワーク（PyTorchおよびTensorFlow）でベースライン手法を再現し、提案されたデータ分割とメトリクスを使用して評価を行い、その結果を公開することで将来の研究を支援します。提案されたデータ分割方法と評価指標は、世界規模での研究進展追跡を可能にし、さらなる展開のために最適なモデル選択を促進するでしょう。