NVIDIA、新AIツール「DiffusionRenderer」で3Dシーンと写実的画像の精密編集を実現
NVIDIAの研究チームが開発した新しいAIツール「DiffusionRenderer」は、3Dシーンと現実的な画像を高精度に編集できる新たな機械学習アプローチである。今年6月11日から15日にかけてナッシュビルで開催されたCVPR 2025で発表されたこの研究では、DiffusionRendererが従来のグラフィック生成手法とAIの柔軟性を組み合わせ、ユーザーが画像属性を精密に調整できるようにしていることが示された。 Sanja Fidler氏、NVIDIAのAIリサーチVP兼Spatial Intelligenceラボの責任者は、「生成AIは視覚コンテンツの作成に大幅な進歩をもたらしましたが、伝統的なグラフィックスワークフローと異なり、操作性に課題がありました」と述べる。「DiffusionRendererは、従来のグラフィックスパイプラインの精度とAIの柔軟性を融合させることで、次世代のレンダリングをよりアクセシブルでコントローラブルに、そして既存のツールと容易に統合できるように設計しています」。 DiffusionRendererは、2Dビデオをグラフィックス互換のシーン表現に変換することが可能であり、ユーザーは光や素材を調整して新しいコンテンツを生成できる。Fidler氏は、「DiffusionRendererは、現実世界のビデオからジオメトリと素材を抽出する逆レンダリングと、シーン表現からリアリスティックな画像とビデオを生成する前方レンダリングという、Computer Graphicsの長年の課題を同時に解決しています」と強調する。 この新しいニューラルレンダリング手法は、拡散モデルという種類の深層学習アルゴリズムを活用し、ランダムノイズを段階的に一貫性のあるグラフィックスに変換することで画像を生成する。DiffusionRendererの特徴は、まずはG-buffers(特定の属性をまとめた中間画像表現)を生成し、その後にこれを用いて新しいリアルな画像を作成することである。 研究チームは、高品質で照明と素材が正確に再現された合成データセットの構築にも成功しており、これがモデルがシーンを現実的に分解と再構成を行う能力を向上させた。NVIDIA cosmosと統合した際には、生成された結果の鮮明さと一貫性がさらに向上したという。 将来、DiffusionRendererはロボティクス研究者だけでなく、クリエイティブプロフェッショナルにも利用される可能性がある。例えば、ビデオゲーム、広告、映画のコンテンツ制作において、特定の要素を加えたり削除したり修正したりすることに高精度であることで利点を提供できる。また、ロボティクスや画像分類用途のアルゴリズムを訓練するために、リアリスティックな Daten 生成にも使用できる。 Fidler氏は、「DiffusionRendererの大きなインパクトは、シミュレーションや物理AI領域における新たな照度条件の生成にあります。ロボティクスや自動車のトレーニングには多様なデータが必要ですが、DiffusionRendererは新シーンから新しい照度条件を生成できます」と話す。「この領域での限界を押し続けることに興奮しています。今後は、さらに高品質な結果の生成、実行効率の向上、意味制御やオブジェクトコンポジティング等功能強化を目指します」。 DiffusionRendererの導入はNVIDIAの研究の最新の成果であり、ビジュアルコンテンツ作成におけるコントローラビリティと効率性を大幅に向上させる可能性を持っている。 NVIDIAの研究チームは、今後、DiffusionRendererの品質向上、実行速度の最適化、さらなる高度な機能追加に注力していく計画だ。