11日前
マルチマウスのポーズ推定、識別およびトラッキングにおけるDeepLabCut
{Mackenzie Weygandt Mathis & Alexander Mathis, Catherine Dulac, George Lauder, Venkatesh N. Murthy, Guoping Feng, Daniel Soberanes, Valentina Di Santo, Mohammed Mostafizur Rahman, Tanmay Nath, Steffen Schneider, William Menegas, Shaokai Ye, Mu Zhou, Jessy Lauer}
要約
複数動物の姿勢推定は、コンピュータビジョンにおける難しい課題である。頻繁な相互作用により、物体の遮蔽（オクルージョン）が生じやすく、検出された関節点（keypoints）を適切な個体に紐づける作業が複雑化する。また、通常の複数人シナリオよりもさらに密に接触する、外見が極めて類似した動物が存在する点も課題となる。この課題に取り組むために、オープンソースの姿勢推定ツールキット「DeepLabCut」を基盤とし、複数動物を対象としたシナリオに必要な高精度な動物の構成（assembly）およびトラッキング機能を実装した。さらに、遮蔽が発生した場合のトラッキングを支援するため、個体の識別（identity）を予測する機能も統合した。本フレームワークの有効性を、複数のデータセット（複雑性が異なる4種類）を用いて検証し、今後のアルゴリズム開発のベンチマークとしてこれらのデータセットを公開した。