ワンショット現実的なヘッドアバターの高速二層ニューラル合成

本稿では、単一の写真から頭部アバターを生成するニューラルレンダリングベースのシステムを提案する。本手法は、人物の外見を二つのレイヤーに分解してモデル化する。第一のレイヤーは、小さなニューラルネットワークによって生成されるポーズ依存の粗い画像であり、第二のレイヤーは高周波成分を含むポーズに依存しないテクスチャ画像として定義される。このテクスチャ画像はオフラインで生成され、ポーズに応じて変形（ワープ）された後、粗い画像に合成されることで、合成された頭部ビューの有効解像度を高めている。提案手法は、視覚品質および処理速度の観点から、類似する最先端のシステムと比較された。実験の結果、同等の視覚品質を維持しつつ、従来のニューラル頭部アバターモデルに比べて顕著な推論速度の向上が確認された。さらに、本システムのリアルタイム対応スマートフォン実装についても報告する。