HyperAIHyperAI

Command Palette

Search for a command to run...

GestureGAN による実世界での手のジェスチャー間変換

Hao Tang Wei Wang Dan Xu Yan Yan Nicu Sebe

概要

野生環境下(実世界)での手のジェスチャー間翻訳は、手のジェスチャーが任意の姿勢、サイズ、位置、自己遮蔽を持つため、非常に困難な課題です。したがって、この課題には入力ソースジェスチャーと出力ターゲットジェスチャーの間のマッピングに対する高度な理解が必要となります。この問題に対処するために、我々は新しい手ジェスチャ生成対抗ネットワーク(GestureGAN)を提案します。GestureGANは単一のジェネレータ ( G ) とディスクリミネータ ( D ) から構成され、条件付き手画像と目標手骨格画像を入力として受け取ります。GestureGANは手骨格情報を明示的に利用し、色損失(color loss)とサイクル一貫性損失(cycle-consistency loss)という2つの新しい損失を通じてジェスチャー間マッピングを学習します。提案された色損失は勾配逆伝播時に「チャンネル汚染」の問題を処理します。さらに、生成画像の品質評価のためにフレシェ・レジネット距離(Fréchet ResNet Distance, FRD)を導入します。2つの広く使用されているベンチマークデータセットにおける広範な実験により、提案されたGestureGANが制約なしの手ジェスチャ間翻訳タスクにおいて最先端の性能を達成することが示されました。同時に、生成された画像は高品質で写真のようにリアルであり、これらの画像を使用して手ジェスチャ分類器の性能向上に向けたデータ拡張を行うことが可能です。当方のモデルとコードは以下のURLで公開されています: https://github.com/Ha0Tang/GestureGAN.


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています