Sem2NeRF: 単一視点のセマンティックマスクをニューラルラディアンスフィールドに変換する

画像変換と操作は、深層生成モデルの急速な発展に伴い、ますます注目を集めています。既存の手法は印象的な結果をもたらしましたが、主に2次元空間で動作していました。最近のNeRFベースの3D認識生成モデルの進歩を受け、私たちは新しいタスクであるセマンティック・トゥ・NeRF変換（Semantic-to-NeRF translation）を導入します。このタスクは、単一視点のセマンティックマスクを入力として条件付けられたNeRFによってモデリングされた3Dシーンを再構築することを目指しています。この新規タスクの開始にあたり、私たちはSem2NeRFフレームワークを提案します。特に、Sem2NeRFはセマンティックマスクを事前学習済みデコーダーの3Dシーン表現を制御する潜在コードにエンコードすることで、非常に困難なタスクに対処します。さらに、マッピングの精度を向上させるために、新しい領域認識学習戦略をエンコーダーとデコーダーの設計に統合しました。私たちは提案したSem2NeRFの有効性を検証し、2つのベンチマークデータセットにおいて複数の強力な基準モデルを超える性能を示しています。コードとビデオはhttps://donydchen.github.io/sem2nerf/ で利用可能です。