NeRFLiX: Hochwertige neuronale Ansichtssynthese durch Lernen eines durch Degradationen getriebenen Inter-Viewpoint-MiXers

Neurale Strahlungsfelder (NeRF) haben bei der Synthese neuer Ansichten erheblichen Erfolg gezeigt. Dennoch bleibt die Wiederherstellung hochwertiger Details aus den Quellbildern in realen Szenen für bestehende NeRF-basierte Ansätze weiterhin herausfordernd, bedingt durch möglicherweise ungenaue Kalibrierungsdaten und Ungenauigkeiten in der Szenenrepräsentation. Selbst bei hochwertigen Trainingsbildern leiden die synthetischen neuen Ansichten, die von NeRF-Modellen generiert werden, weiterhin erheblich an Rendering-Artefakten wie Rauschen, Verschmierungen usw. Um die Qualität der Synthese bei NeRF-basierten Ansätzen zu verbessern, stellen wir NeRFLiX vor – ein allgemeines, NeRF-unabhängiges Restaurierungsparadigma, das durch Lernen eines durch Degradation getriebenen Inter-Ansichtsmixers realisiert wird. Speziell entwerfen wir eine NeRF-ähnliche Degradationsmodellierung und erstellen großskalige Trainingsdaten, was die effektive Beseitigung von NeRF-eigenen Rendering-Artefakten für bestehende tiefe neuronale Netzwerke ermöglicht. Darüber hinaus schlagen wir einen Inter-Ansichts-Aggregations-Framework vor, der in der Lage ist, hochkorrelierte, hochwertige Trainingsbilder zu fusionieren und somit die Leistung state-of-the-art NeRF-Modelle auf völlig neue, bisher nicht erreichte Niveaus zu heben und äußerst foto-realistische synthetische Ansichten zu erzeugen.