Neu: RenderFormer – Mesh-Rendering ohne Rasterisierung oder Strahlverfolgung

Einführung Wir stellen RenderFormer vor, eine neuronale Rendering-Pipeline, die ein Bild direkt aus einer dreiecksbasierten Darstellung einer Szene mit vollständigen globalen Beleuchtungseffekten rendert. Dabei ist keine anwendungsspezifische Schulung oder Feinabstimmung erforderlich. Im Gegensatz zu traditionellen physikzentrierten Rendering-Methoden formulierte das Team das Rendering als sequenzbasierte Transformation, bei der Tokens, die Dreiecke mit Reflexionseigenschaften repräsentieren, in Tokens umgewandelt werden, die kleine Pixelbereiche darstellen. End-to-End: Von Netz zu Bild Das besondere Merkmal von RenderFormer ist seine Fähigkeit, eine komplette Szene ohne Zwischenschritte zu rendern. Die Pipeline besteht aus zwei Stufen: einer view-unabhängigen Stufe, die das Lichttransportverhalten zwischen Dreiecken modelliert, und einer view-abhängigen Stufe, die einen Token, der einen Strahlenbündel repräsentiert, in die entsprechenden Pixelwerte transformiert. Diese Transformation wird durch die Triangelsequenz aus der view-unabhängigen Stufe geleitet. Beide Stufen basieren auf der Transformer-Architektur und werden mit minimalen Vorabinformationen trainiert. Dies bedeutet, dass weder Rasterisierung noch Raytracing notwendig sind, was den Prozess erheblich vereinfacht und beschleunigt. Transformatorarchitektur mit minimalen Vorabinformationen Die view-unabhängige Stufe von RenderFormer analysiert die interaktive Lichttransportdynamik innerhalb der Szene, indem sie die Reflexionseigenschaften der Dreiecke berücksichtigt. Diese Stufe ermöglicht es, komplexe Beleuchtungseffekte wie Schatten, Spiegelungen und Indirektes Licht zu simulieren, ohne dass jedes Element individuell behandelt werden muss. Die view-abhängige Stufe nutzt diese Informationen, um die Perspektive des Betrachters zu berücksichtigen und die entsprechenden Pixelwerte zu berechnen. Die Verwendung der Transformer-Architektur ermöglicht es, große Mengen an Daten effizient zu verarbeiten und gleichzeitig die Genauigkeit der Simulation zu gewährleisten. Rendering-Galerie In der Rendering-Galerie sind verschiedene Szenen abgebildet, die mit RenderFormer gerendert wurden. Diese Beispiele zeigen verschiedene Beleuchtungsbedingungen, Materialien und geometrische Komplexität. Trotz der Vielfalt der Szenen ist keine anwendungsspezifische Schulung oder Feinabstimmung erforderlich. Die Bilder demonstrieren die Leistungsfähigkeit von RenderFormer, insbesondere in der Simulation realistischer Beleuchtungseffekte. Weitere Details zu den Referenzbildern können auf der Projektwebsite eingesehen werden. Bewertung durch Branchenexperten RenderFormer markiert einen wichtigen Fortschritt im Bereich des neuronalen Renderings. Die Fähigkeit, komplexe Szenen ohne spezifisches Training zu rendern, hebt es von vielen bestehenden Methoden ab. Dies könnte die Entwicklung von Realzeit-Rendering-Technologien für virtuelle Umgebungen, Videospiele und Filmproduktion revolutionieren. Das Unternehmen, das RenderFormer entwickelt hat, hat bisher hervorragende Ergebnisse präsentiert und sich in der Branche als innovativer Akteur etabliert. Die Verwendung von Transformer-Modellen ohne Rasterisierung oder Raytracing zeigt zudem, dass neuronale Netzwerke in Zukunft eine zentrale Rolle bei der Erstellung realistischer 3D-Szenen spielen könnten.