16日前
DAD-3DHeads:単一画像から3Dヘッドアライメントを行うための大規模で高密度・高精度・多様性に富んだデータセット
Tetiana Martyniuk, Orest Kupyn, Yana Kurliak, Igor Krashenyi, Jiři Matas, Viktoriia Sharmanska

要約
本研究では、野外環境における3D密な顔面アライメントを実現するための、大規模かつ多様性に富んだデータセット「DAD-3DHeads」と、その上で学習された堅牢なモデルを提案する。このデータセットは、実測スキャンデータ(ground-truth scans)と比較して3D顔面形状を高精度に表現する3,500点以上のランドマークを含んでおり、顔の形状、表情、姿勢の多様な変化を網羅している。本研究で開発したデータ駆動型モデルであるDAD-3DNetは、このデータセット上で学習され、FLAMEメッシュの3D再構成を実現する形状・表情・姿勢パラメータを同時に学習する。さらに、豊富な教師信号を活用し、複数の関連タスクの共同学習(co-training)を可能にするランドマーク予測ブランチを組み込んでいる。実験結果によると、DAD-3DNetは以下の3つのタスクにおいて、最先端のモデルと同等またはそれ以上の性能を示した:(i) AFLW2000-3DおよびBIWIデータセットにおける3D顔面姿勢推定、(ii) NoWおよびFengデータセットにおける3D顔面形状再構成、(iii) DAD-3DHeadsデータセットにおける3D密な顔面アライメントおよび3Dランドマーク推定。最後に、DAD-3DHeadsがカメラ角度、表情、遮蔽状況の多様性を備えていることから、野外環境における汎化性能および分布シフトに対するロバスト性を評価するためのベンチマークとしての価値が高まっている。データセットのウェブページは以下の通り:https://p.farm/research/dad-3dheads。