単一RGB画像からの深層メッシュ再構成：トポロジー変更ネットワークを用いて

単一画像から一般的な物体の3次元メッシュを再構築することが、深層学習技術の最新の進歩により可能になりました。しかし、実現可能なメッシュ構造を生成する難しさから、最先端の手法ではしばしばテンプレートメッシュの変位を学習し、それを目標形状に変形することで問題を簡略化しています。複雑なトポロジーを持つ3次元形状を再構築するためには複数のメッシュパッチを変形させることが可能ですが、その結果をつなぎ合わせて高品質なメッシングを確保することは依然として困難です。本論文では、単一視点からの複雑なトポロジーを持つ高品質なメッシュを生成できるエンドツーエンドの単視点メッシュ再構築フレームワークを提案します。当手法の鍵となるのは、メッシュ変形とトポロジー修正が交互に行われる新しい逐次シェーピングフレームワークです。変形ネットワークは、再構築されたメッシュと正解データとの間のギャップを縮めるために各頂点の移動量を予測します。一方で、新しいトポロジー修正ネットワークが誤差のある面を取り除くことでトポロジーの進化を可能にします。これらの2つの手順を繰り返すことで、メッシュのトポロジーを逐次的に修正しながらより高い再構築精度を得ることができます。さらに、境界条件の改善のために境界精緻化ネットワークが設計されており、これにより再構築されたメッシュの視覚的な品質が向上します。広範囲にわたる実験により、当手法は特に複雑なトポロジーを持つ形状に対して定性的および定量的に現行の最先端手法を超える性能であることが示されています。