Animal3D: 3次元動物の姿勢と形状に関する包括的なデータセット

動物の行動を理解するためには、3次元姿勢と形状を正確に推定することが重要なステップであり、野生生物保護など多くの下流アプリケーションにも潜在的に利益をもたらす可能性があります。しかし、この分野の研究は、高品質な3次元姿勢と形状アノテーションを持つ包括的かつ多様なデータセットの不足により阻害されています。本論文では、哺乳類動物の3次元姿勢と形状推定のための最初の包括的なデータセットであるAnimal3Dを提案します。Animal3Dは、40種類の哺乳類から収集された3379枚の画像、26個のキーポイントの高品質アノテーション、そして特にSMALモデル（Synthetic Mammalian Animal Model）の姿勢と形状パラメータで構成されています。すべてのアノテーションは、最高品質の結果を確保するために複数段階で手動でラベリングおよび確認が行われました。Animal3Dデータセットに基づいて、以下の3つのシナリオで代表的な形状と姿勢推定モデルをベンチマークしました：(1) Animal3Dデータのみを使用した教師あり学習、(2) 合成画像からの実際の画像への転移学習、(3) 人間の姿勢と形状推定モデルの微調整。実験結果は、人間の姿勢推定における著しい進歩にもかかわらず、種を超えた動物の3次元形状と姿勢予測が非常に困難なタスクであることを示しています。さらに、我々の結果は合成データでの事前学習がモデル性能向上のために有効な戦略であることを示しています。全体として、Animal3Dは将来の動物3次元姿勢と形状推定に関する研究を促進する新しい方向性を開き、公開されています。