RenderFormer：グローバルイルミネーション付き三角メッシュのニューラルレンダリング 概要 RenderFormerは、新しいニューラルレンダリングパイプラインです。この技術は、シーンの三角メッシュ表現から直接画像を生成し、完全なグローバルイルミネーション効果を実装します。各シーンごとのトレーニングや微調整を必要とせず、物理に基づくアプローチに頼らずにレンダリングを実現します。 三角形からの画像生成 従来のレンダリング方法とは異なり、RenderFormerは三角形とその反射特性を表すトークンの列をピクセルの小さな領域を表す出力トークンの列に変換する方式を採用しています。これにより、シーケンス間の変換としてレンダリングを扱います。 シンプルなトランスフォーマー構造 RenderFormerは2つの段階からなるパイプラインを採用しています。第一段階では、視点に依存しない形で三角形間の光輸送をモデル化します。第二段階では、第一段階の結果を元に、レイバンドルを表すトークンを対応するピクセル値に変換します。両段階ともトランスフォーマー構造をベースにしており、最小限の制約のもとで学習されます。ラスタライゼーションやレイトレーシングの処理を経ないことも特徴の一つです。 レンダリングギャラリー RenderFormerが様々な照明条件、素材、幾何学的な複雑さを持つシーンをレンダリングした結果の例が、ギャラリーページに掲載されています。これらの画像は各シーンごとのトレーニングや微調整なしに生成されており、詳細はリファレンス画像を確認してください。 RenderFormerは次世代のレンダリング技術として、効率的かつ高品質な画像生成を可能にする新たなアプローチを示しています。