リアルなニューラル・トーキングヘッドモデルのファウショット敵対学習

最近の研究では、畳み込みニューラルネットワークを訓練することで、非常に現実的な人間の頭部画像を生成することが示されています。個人化された話す頭部モデルを作成するためには、これらの研究では単一の人物の大量の画像データセットでの訓練が必要とされています。しかし、多くの実践的なシナリオでは、人物の少数の画像、場合によっては単一の画像から個人化された話す頭部モデルを学習する必要があります。本稿では、そのような少ショット（few-shot）能力を持つシステムを提案します。このシステムは、大量のビデオデータセット上で長時間にわたるメタ学習を行い、その後、以前に見たことのない人物の神経系話す頭部モデルを少ショットおよび単ショット（one-shot）学習として定式化し、高容量ジェネレータとディスクリミネータを使用した敵対的訓練問題として扱います。重要な点は、このシステムがジェネレータとディスクリミネータのパラメータを人物特異的に初期化できるため、数百万個ものパラメータを調整する必要があるにもかかわらず、わずかな数の画像に基づいて迅速に訓練を行うことができる点です。我々は、このようなアプローチが新しい人物や肖像画についても非常に現実的で個人化された話す頭部モデルを学習できることを示しています。