HyperAIHyperAI

Command Palette

Search for a command to run...

AutoLink: 人間の骨格と物体の輪郭を接続することでキーポイントの自己監督学習を行う

Xingzhe He Bastian Wandt Helge Rhodin

概要

構造表現、例えばキーポイントは、ポーズ転送、条件付き画像生成、アニメーション、および3D再構築の分野で広く使用されています。しかし、これらの監督学習には各対象ドメインに対して高コストのアノテーションが必要です。本研究では、2Dキーポイントを直線エッジで連結したグラフを使用して物体の構造と外観を分離する自己監督学習方法を提案します。入力される画像群が同じ物体クラスを示しているという情報のみから、キーポイントの位置とそれらのペア間のエッジ重みを学習します。得られたグラフは解釈可能であり、たとえばAutoLinkは人間の骨格トポロジーを回復することが可能です(人間を示す画像に適用した場合)。我々の主な要素は以下の通りです:i) 入力画像におけるキーポイント位置を予測するエンコーダー、ii) 各画像において同じキーポイントペアを連結する共有グラフとしての潜在変数、iii) 潜在的なグラフエッジ重みとキーポイント位置をソフトかつ微分可能な方法で組み合わせる中間エッジマップ、iv) ランダムにマスクされた画像に対するインペイニング目的関数です。AutoLinkは単純であるにもかかわらず、確立されたキーポイントおよびポーズ推定ベンチマークにおいて既存の自己監督学習手法よりも優れた性能を発揮し、より多様なデータセットでの構造条件付き生成モデルへの道を開きます。プロジェクトウェブサイト: https://xingzhehe.github.io/autolink/.


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています