シミュレートされた画像と非監督画像からの学習：敵対的訓練を用いて

最近のグラフィックス技術の進歩により、合成画像を用いてモデルを訓練することがより容易になり、高価なアノテーションの必要性を回避する可能性が出てきました。しかし、合成画像と実際の画像分布の間にあるギャップのために、合成画像から学習することは望ましい性能を達成できない場合があります。このギャップを縮めるために、我々はSimulated+Unsupervised (S+U) 学習を提案します。S+U学習では、ラベル付けされていない実際のデータを使用してシミュレーターの出力を改善し、シミュレーターからのアノテーション情報を保つことが課題となります。我々はS+U学習用の方法を開発しました。これはGenerative Adversarial Networks (GANs) に類似した敵対ネットワークを使用していますが、入力としてランダムベクトルではなく合成画像を使用します。標準的なGANアルゴリズムに対して、アノテーション情報を保ち、アーティファクトを避けるとともに訓練を安定させるため、以下の重要な変更を行いました：(i) 自己正則化項（self-regularization term）、(ii) 局所敵対損失（local adversarial loss）、(iii) 精緻化された画像の履歴を使用して識別器を更新する方法です。我々はこの手法が非常に現実的な画像の生成を可能にすることを示しました。これは定性的評価だけでなくユーザースタディでも確認されています。生成された画像について定量的に評価するために、視線推定と手の姿勢推定用のモデルを訓練しました。その結果、合成画像のみを使用する場合と比較して大幅な改善が見られました。さらに、ラベル付けされた実際のデータなしでMPIIGazeデータセットにおいて最先端の結果を得ることに成功しました。