2ヶ月前

人間パースのための自己監督構造感度学習と新しいベンチマーク

Ke Gong; Xiaodan Liang; Dongyu Zhang; Xiaohui Shen; Liang Lin
人間パースのための自己監督構造感度学習と新しいベンチマーク
要約

人間解析は、その大きな応用可能性により、最近多くの研究者の関心を集めています。しかし、既存のデータセットには画像とアノテーションの数が限られており、制約のない環境における人間の多様な外見や難易度の高いケースをカバーすることができていません。本論文では、スケーラビリティ、多様性、難易度において大幅な進歩を遂げた新しいベンチマーク「Look into Person (LIP)」を紹介します。これは、将来の人間中心分析における発展に不可欠であると考える貢献です。この包括的なデータセットには、19種類の意味的部位ラベルを持つ5万枚以上の詳細にアノテーションされた画像が含まれており、より広い視点、遮蔽物の存在、複雑な背景から撮影されています。これらの豊富なアノテーションに基づいて、主要な人間解析手法について詳細な分析を行い、これらの方法の成功と失敗に関する洞察を得ました。さらに、既存の特徴量識別能力向上への取り組みとは異なり、我々は新たな自己監督構造感度学習アプローチを用いて人間解析を行いました。この方法は追加の監督(つまりモデル訓練中に人間の関節を特定してラベリングすること)なしでパース結果に人間の姿勢構造を組み込むことができます。我々の自己監督学習フレームワークは任意の高度なニューラルネットワークに組み込むことができ、全体的な観点から人間関節に関する豊富な高レベル知識を取り入れてパース結果を改善します。LIPおよび公開されているPASCAL-Person-Partデータセットでの広範な評価により、我々の方法が優れていることが示されました。

人間パースのための自己監督構造感度学習と新しいベンチマーク | 最新論文 | HyperAI超神経