SuperAnimal事前学習済み姿勢推定モデルの行動解析への応用

行動の量化は、神経科学、獣医学、動物保護などの分野におけるアプリケーションにおいて重要な役割を果たしています。行動分析の一般的な鍵となるステップは、まず動物上の関連するキーポイントを抽出することであり、これをポーズ推定と呼びます。しかし、現在の信頼性のあるポーズ推定には、ドメイン知識と手動ラベリング作業が必要で、監督学習モデルの構築が求められます。本研究では、一連の技術革新を提示し、これらの革新により新方法であるSuperAnimalを開発しました。この方法は追加の人間によるラベルなしで45種以上の動物に使用できる統一的な基礎モデルを構築します。具体的には、異なるラベル付けが施されたデータセット間でのキーポイント空間の一元化（汎用データコンバーターを通じて）と、不均衡な入力にもかかわらず catastrophic forgetting（ Catastrophic Forgetting）を防ぐための多様なデータセットの訓練方法（キーポイント勾配マスキングとメモリリプレイアプローチを通じて）を導入します。これらのモデルは6つのポーズベンチマークで優れた性能を示しています。さらに、エンドユーザーにとって最大限の利用可能性を確保するために、異なるラベル付けが施されたデータ上でモデルの微調整を行う方法と、パフォーマンス向上とフレーム間のジッター減少のために無教師ビデオ適応用ツールを提供する方法を示します。微調整が行われた場合、SuperAnimalモデルは従来の転移学習ベースの手法よりも10〜100倍データ効率が高いことを示しています。私たちはマウスでの行動分類や馬での歩行分析における当該モデルの有用性を示しています。総合的に見れば、これは動物ポーズ推定に対するデータ効率の高い解決策となります。