RenderFormer : Une Révolution en Neurorendu Direct sans Formation Spécifique par Scène

Introduction Nous présentons RenderFormer, une innovation majeure dans le domaine de la rendering neuronale. Ce pipeline est capable de produire directement une image à partir d'une représentation basée sur des triangles de la scène, tout en intégrant les effets d'éclairage globaux complets. Contrairement aux méthodes traditionnelles, RenderFormer n'exige ni entraînement spécifique par scène ni ajustements fins, ce qui le distingue nettement des approches existantes. Transformation de Modèle à Image, d'Entrée à Sortie Au lieu de s'appuyer sur une approche centrée sur la physique pour le rendu, RenderFormer reformule ce processus comme une transformation de séquence à séquence. Dans ce cadre, une séquence de tokens, chacun représentant un triangle avec ses propriétés de réflexion, est convertie en une séquence de tokens de sortie, qui correspondent à des patches de pixels. Cette méthode permet une conversion directe et efficace, simplifiant les opérations de rendu sans compromettre la qualité visuelle. Architecture Simple de Transformer avec Contraintes Minimales RenderFormer fonctionne en deux étapes distinctes, toutes deux basées sur l'architecture de transformers : Étape Indépendante de la Vue : Cette étape modélise le transport de lumière entre les triangles, sans tenir compte de la perspective de l'utilisateur. Elle crée une représentation intermédiaire qui capture comment la lumière se déplace au sein de la scène. Étape Dépendante de la Vue : Grâce à la représentation intermédiaire générée par l'étape indépendante, cette étape transforme un token représentant un bundle de rayons lumineux en valeurs de pixels correspondantes. Cette transformation prend en compte la perspective de l'utilisateur, permettant un rendu précis et contextuel. Les deux étapes sont apprises à partir de données générales, sans imposer de contraintes exogènes spécifiques. Cela signifie que RenderFormer ne nécessite pas de rasterisation ni de traçage de rayons, les processus habituellement coûteux en ressources dans les techniques de rendu classiques. Galerie de Rendu RenderFormer montre sa polyvalence à travers une galerie d'exemples de scènes rendues sous diverses conditions d'éclairage, avec différents matériaux et complexités géométriques. Ces exemples démontrent la capacité du modèle à produire des images de haute qualité sans avoir été entrainé ou affiné spécifiquement pour chaque scène. Pour une meilleure compréhension, consulter les images de référence disponibles. En résumé, RenderFormer représente une avancée significative en permettant un rendu neuronal direct de scènes complexes, intégrant les éclairages globaux, tout en évitant les limitations et les coûts associés aux méthodes traditionnelles de traçage de rayons et de rasterisation. Cette approche promet non seulement des performances accrues mais aussi une plus grande facilité d'utilisation pour les applications de rendu en temps réel et les productions visuelles avancées.