Command Palette
Search for a command to run...
NeRFLiX: Hochwertige neuronale Ansichtssynthese durch Lernen eines durch Degradationen getriebenen Inter-Viewpoint-MiXers
NeRFLiX: Hochwertige neuronale Ansichtssynthese durch Lernen eines durch Degradationen getriebenen Inter-Viewpoint-MiXers
Kun Zhou Wenbo Li Yi Wang Tao Hu Nianjuan Jiang Xiaoguang Han Jiangbo Lu
Zusammenfassung
Neurale Strahlungsfelder (NeRF) haben bei der Synthese neuer Ansichten erheblichen Erfolg gezeigt. Dennoch bleibt die Wiederherstellung hochwertiger Details aus den Quellbildern in realen Szenen für bestehende NeRF-basierte Ansätze weiterhin herausfordernd, bedingt durch möglicherweise ungenaue Kalibrierungsdaten und Ungenauigkeiten in der Szenenrepräsentation. Selbst bei hochwertigen Trainingsbildern leiden die synthetischen neuen Ansichten, die von NeRF-Modellen generiert werden, weiterhin erheblich an Rendering-Artefakten wie Rauschen, Verschmierungen usw. Um die Qualität der Synthese bei NeRF-basierten Ansätzen zu verbessern, stellen wir NeRFLiX vor – ein allgemeines, NeRF-unabhängiges Restaurierungsparadigma, das durch Lernen eines durch Degradation getriebenen Inter-Ansichtsmixers realisiert wird. Speziell entwerfen wir eine NeRF-ähnliche Degradationsmodellierung und erstellen großskalige Trainingsdaten, was die effektive Beseitigung von NeRF-eigenen Rendering-Artefakten für bestehende tiefe neuronale Netzwerke ermöglicht. Darüber hinaus schlagen wir einen Inter-Ansichts-Aggregations-Framework vor, der in der Lage ist, hochkorrelierte, hochwertige Trainingsbilder zu fusionieren und somit die Leistung state-of-the-art NeRF-Modelle auf völlig neue, bisher nicht erreichte Niveaus zu heben und äußerst foto-realistische synthetische Ansichten zu erzeugen.