DDP: Diffusion-Modell für dichte visuelle Vorhersagen

Wir stellen einen einfachen, effizienten und dennoch leistungsfähigen Rahmen für dichte visuelle Vorhersagen vor, der auf einem bedingten Diffusionspipeline basiert. Unser Ansatz verfolgt eine „Rausch-zu-Karte“-generative Paradigma zur Vorhersage, indem er schrittweise Rauschen aus einer zufälligen Gauss-Verteilung entfernt, geleitet durch das Eingabebild. Die Methode, DDP genannt, erweitert effizient den Entrauschungs-Diffusionsprozess nahtlos in moderne Wahrnehmungspipelines. Ohne spezifische Aufgabendesigns oder architektonische Anpassungen lässt sich DDP problemlos auf die meisten Aufgaben mit dichten Vorhersagen übertragen, beispielsweise semantische Segmentierung und Tiefenschätzung. Zudem weist DDP attraktive Eigenschaften wie dynamische Inferenz und Unsicherheitsbewusstsein auf, was sie gegenüber früheren einstufigen diskriminativen Methoden unterscheidet. Wir erzielen Spitzenresultate auf drei repräsentativen Aufgaben an sechs unterschiedlichen Benchmarks. Ohne aufwendige Tricks erreicht DDP im Vergleich zu spezialisierten Ansätzen state-of-the-art oder wettbewerbsfähige Leistung auf jeder Aufgabe. Beispielsweise erzielt DDP eine mIoU von 83,9 bei der semantischen Segmentierung auf Cityscapes, 70,6 mIoU bei der BEV-Karten-Segmentierung auf nuScenes und eine REL von 0,05 bei der Tiefenschätzung auf KITTI. Wir hoffen, dass unser Ansatz als solide Basis dienen und zukünftige Forschung fördern wird.