Von NeRFLiX zu NeRFLiX++: Ein allgemeiner, NeRF-unabhängiger Restaurierungsparadigma

Neurale Strahlungsfelder (NeRF) haben bei der Synthese neuer Ansichten erheblichen Erfolg gezeigt. Dennoch bleibt die Wiederherstellung hochwertiger Details aus realen Szenen für bestehende NeRF-basierte Ansätze weiterhin herausfordernd, bedingt durch möglicherweise ungenaue Kalibrierungsinformationen und Ungenauigkeiten in der Szenendarstellung. Selbst bei hochwertigen Trainingsbildern leiden die synthetischen neuen Ansichten, die von NeRF-Modellen generiert werden, weiterhin erheblich an Rendering-Artifakten wie Rauschen und Unschärfe. Um dieses Problem anzugehen, stellen wir NeRFLiX vor – ein allgemeines, NeRF-unabhängiges Wiederherstellungsparadigma, das einen durch Degradation getriebenen Inter-Ansichtsmixer lernt. Insbesondere entwickeln wir eine NeRF-ähnliche Degradationsmodellierungsmethode und erstellen großskalige Trainingsdaten, was die effektive Beseitigung von NeRF-geprägten Rendering-Artifakten durch tiefe neuronale Netze ermöglicht. Darüber hinaus schlagen wir einen Inter-Ansichts-Aggregationsrahmen vor, der hochgradig relevante, qualitativ hochwertige Trainingsbilder fusioniert und somit die Leistung state-of-the-art NeRF-Modelle auf völlig neue Niveaus hebt und äußerst fotorealistische synthetische Ansichten erzeugt. Auf Basis dieses Paradigmas präsentieren wir zudem NeRFLiX++, mit einem leistungsfähigeren zweistufigen NeRF-Degradationssimulator und einem schnelleren Inter-Ansichtsmixer, der eine überlegene Leistung bei erheblich verbesserter rechnerischer Effizienz erzielt. Besonders hervorzuheben ist, dass NeRFLiX++ in der Lage ist, fotorealistische Ultra-HD-Ausgaben aus rauschhaften, niedrigauflösenden NeRF-generierten Ansichten wiederherzustellen. Umfangreiche Experimente belegen die hervorragende Wiederherstellungsfähigkeit von NeRFLiX++ auf verschiedenen Benchmarks für die Synthese neuer Ansichten.