要約
本稿では、単一画像からの3次元人体メッシュ再構成を実現する新たな頂点ベースアプローチとして、可変メッシュ変換器（DeFormeR）を提案する。DeFormeRは、トランスフォーマー・デコーダ内に効率的な人体メッシュ駆動型アテンションモジュール（1）ボディスパース自己アテンション、および（2）可変メッシュクロスアテンションを搭載し、メッシュアライメントフィードバックループを構築することで、入力画像に対して反復的にボディメッシュモデルを適合させる。その結果、従来の標準トランスフォーマー・アテンションを用いた手法では計算コストが高かった高解像度画像特徴マップと密なメッシュモデルを効果的に活用できるようになった。実験結果から、DeFormeRはHuman3.6Mおよび3DPWのベンチマークにおいて最先端の性能を達成していることが示された。また、マルチスケール特徴マップを有効に活用するためのDeFormeRモデル設計の有効性を検証するためのアブレーションスタディも実施した。コードは https://github.com/yusukey03012/DeFormer で公開されている。