自己監督を用いたGANベースのビデオ生成における時間的連続性の学習

当社の研究では、GAN（Generative Adversarial Network）を用いた動画生成タスクにおける時間的な自己監督学習を探究しています。対抗的訓練は様々な分野で成功裏に生成モデルを産出していますが、生成データにおける時間的な関係性については十分に研究されていません。自然な時間変化は、動画超解像や非対応動画変換などの連続生成タスクにおいて重要です。前者に関しては、最先端の手法では$L^2$のような単純なノルム損失を対抗的訓練よりも好む傾向があります。しかし、その平均化の特性により、空間的な詳細が不足した時間的に滑らかな結果になりやすいという問題があります。非対応動画変換に関しては、既存のアプローチではジェネレータネットワークを修正して空間・時間的なサイクル一貫性を形成しています。これに対して、我々は学習目標の改善に焦点を当て、時間的に自己監督されるアルゴリズムを提案します。両タスクにおいて、時間的な対抗的学習が空間的な詳細を犠牲にすることなく時間的一貫性のある解を得るための鍵であることを示しています。また、長期的时间的一貫性を向上させる新たなPing-Pongロスも提案します。これは効果的に再帰型ネットワークが時間を経てアーティファクトを蓄積することを防ぎつつ、詳細な特徴量を抑制することなく機能します。さらに、時間進化の精度と知覚品質を定量的に評価するための最初の一連の指標も提案します。これらの指標を使用して計算されたランキングは一連のユーザースタディによって確認されています。コード、データセット、モデルおよび結果はhttps://github.com/thunil/TecoGANで提供されています。プロジェクトページhttps://ge.in.tum.de/publications/2019-tecogan-chu/には補足資料が含まれています。