極低光条件下でのドメイン適応型2D人間姿勢推定を双方向教師を用いて実現する

既存の2次元人間姿勢推定研究は主に明るい環境に焦点を当てており、日常生活で一般的な暗い照明条件における探索は限られています。最近の低照度環境での姿勢推定に関する研究では、訓練のために明るい環境と低照度環境のペア画像および真値（ground truths）が必要ですが、これは低照度画像の注釈作業に伴う固有の課題により実用的ではありません。この問題に対処するため、我々は低照度環境の真値を必要としない新しい手法を提案します。当手法の主要な新規性は、2つの補完的な教師ネットワークを使用してより信頼性のある疑似ラベル（pseudo labels）を生成することにあります。これにより、低照度環境の真値を使用せずに極端な低照度画像で競合する性能を達成することが可能となります。我々のフレームワークは2つの段階から構成されています。第1段階では、モデルが明るい環境データと低照度拡張を使用して訓練されます。第2段階では、未ラベルの低照度データを利用するために双方向教師フレームワーク（dual-teacher framework）を提案します。ここでは、中心点ベースの主教師が比較的可視化可能なケースに対して疑似ラベルを生成し、キーポイントベースの補完教師が主教師が見逃した人物に対する疑似ラベルを生成します。両方の教師からの疑似ラベルを使用して、学生モデルが訓練中に教師モデルを超える性能を発揮できるようにするための人間特異的な低照度拡張（person-specific low-light augmentation）を提案します。実験結果（実際の低照度データセット ExLPose-OCN 上での評価）によると、当手法は現行最良手法（state-of-the-art, SOTA）に対して6.8% (2.4 AP) の改善を達成しました。これは当手法において低照度環境の真値データを使用していないにもかかわらず、SOTA手法とは対照的に優れた結果を得ていることを示しています。当コードは以下のURLで公開予定です: https://github.com/ayh015-dev/DA-LLPose.