Text2Mesh: テキスト駆動型メッシュのニューラルスタイル変換

本研究では、3Dオブジェクトのスタイル編集のための直感的なコントロールを開発しました。我々のフレームワーク「Text2Mesh」は、目標となるテキストプロンプトに従って3Dメッシュの色と局所的な幾何学的詳細を予測し、スタイル化を行います。3Dオブジェクトの表現には、固定されたメッシュ入力（コンテンツ）と学習済みニューラルネットワークを組み合わせた分離表現を使用します。このニューラルネットワークを「ニューラルスタイルフィールドネットワーク」と呼びます。スタイルを変更するために、CLIPの表現能力を利用して、テキストプロンプト（スタイルを説明するもの）とスタイル化されたメッシュとの間で類似度スコアを求めます。Text2Meshは事前学習済みの生成モデルや専門的な3Dメッシュデータセットを必要とせず、低品質なメッシュ（非マニフォールド、境界など）でも任意の種数に対応でき、UVパラメータ化も必要ありません。我々は、多様な3Dメッシュに対して多数のスタイルを合成する技術的能力を示しています。