手術室における医師の姿勢推定とインスタンスセグメンテーションのための無監督ドメイン適応

手術室（OR）での医療従事者の細かい位置特定は、次世代の手術室支援システムを設計する上で重要な要素です。個人のピクセルベースセグメンテーションと身体キーポイント検出のためのコンピュータビジョンモデルが必要であり、これにより臨床活動や手術室の空間配置をより正確に理解することができます。この課題は、手術室の画像が伝統的なビジョンデータセットとは大きく異なるだけでなく、プライバシーに関する懸念から手術室内でのデータ収集やアノテーション生成が困難であるため、非常に挑戦的です。これらの懸念に対処するために、まず1倍から12倍までのダウンサンプリング係数を持つ低解像度画像で、共同人物姿勢推定とインスタンスセグメンテーションを行う方法を研究しました。次に、ドメインシフトとアノテーション不足の問題に対処するため、新しい無教師ドメイン適応手法であるAdaptORを提案します。この手法では、ラベル付きソースドメインから統計的に異なるラベルなしターゲットドメインへのモデル適応を行います。私たちは、ラベルなしターゲットドメイン画像の異なる拡張に対して明示的な幾何学的制約を利用し、正確な疑似ラベルを生成し、自己学習フレームワークにおいて高解像度および低解像度の手術室画像でモデルを訓練することを提案しています。さらに、統計的に異なるソースドメインとターゲットドメインデータを取り扱うために分離された特徴正規化を提案します。MVOR+とTUM-OR-testという2つの手術室データセットにおける詳細な削減実験結果は、特に低解像度プライバシー保護型手術室画像において強力な基線モデルに対する当社アプローチの有効性を示しています。最後に、大規模なCOCOデータセットにおける半教師あり学習（Semi-Supervised Learning, SSL）手法として当社方法の汎用性を示し、1%のラベル付き監督下でも100%のラベル付き監督下で訓練されたモデルと同等またはそれ以上の結果を得ることに成功しました。