HyperAIHyperAI

Command Palette

Search for a command to run...

リアルなニューラル・トーキングヘッドモデルのファウショット敵対学習

Egor Zakharov Aliaksandra Shysheya Egor Burkov Victor Lempitsky

概要

最近の研究では、畳み込みニューラルネットワークを訓練することで、非常に現実的な人間の頭部画像を生成することが示されています。個人化された話す頭部モデルを作成するためには、これらの研究では単一の人物の大量の画像データセットでの訓練が必要とされています。しかし、多くの実践的なシナリオでは、人物の少数の画像、場合によっては単一の画像から個人化された話す頭部モデルを学習する必要があります。本稿では、そのような少ショット(few-shot)能力を持つシステムを提案します。このシステムは、大量のビデオデータセット上で長時間にわたるメタ学習を行い、その後、以前に見たことのない人物の神経系話す頭部モデルを少ショットおよび単ショット(one-shot)学習として定式化し、高容量ジェネレータとディスクリミネータを使用した敵対的訓練問題として扱います。重要な点は、このシステムがジェネレータとディスクリミネータのパラメータを人物特異的に初期化できるため、数百万個ものパラメータを調整する必要があるにもかかわらず、わずかな数の画像に基づいて迅速に訓練を行うことができる点です。我々は、このようなアプローチが新しい人物や肖像画についても非常に現実的で個人化された話す頭部モデルを学習できることを示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
リアルなニューラル・トーキングヘッドモデルのファウショット敵対学習 | 記事 | HyperAI超神経