要約
野生環境下（実世界）での手のジェスチャー間翻訳は、手のジェスチャーが任意の姿勢、サイズ、位置、自己遮蔽を持つため、非常に困難な課題です。したがって、この課題には入力ソースジェスチャーと出力ターゲットジェスチャーの間のマッピングに対する高度な理解が必要となります。この問題に対処するために、我々は新しい手ジェスチャ生成対抗ネットワーク（GestureGAN）を提案します。GestureGANは単一のジェネレータ ( G ) とディスクリミネータ ( D ) から構成され、条件付き手画像と目標手骨格画像を入力として受け取ります。GestureGANは手骨格情報を明示的に利用し、色損失（color loss）とサイクル一貫性損失（cycle-consistency loss）という2つの新しい損失を通じてジェスチャー間マッピングを学習します。提案された色損失は勾配逆伝播時に「チャンネル汚染」の問題を処理します。さらに、生成画像の品質評価のためにフレシェ・レジネット距離（Fréchet ResNet Distance, FRD）を導入します。2つの広く使用されているベンチマークデータセットにおける広範な実験により、提案されたGestureGANが制約なしの手ジェスチャ間翻訳タスクにおいて最先端の性能を達成することが示されました。同時に、生成された画像は高品質で写真のようにリアルであり、これらの画像を使用して手ジェスチャ分類器の性能向上に向けたデータ拡張を行うことが可能です。当方のモデルとコードは以下のURLで公開されています: https://github.com/Ha0Tang/GestureGAN.