Diffusion 3D Features (Diff3F): Verzierung von untexturierten Formen mit destillierten semantischen Merkmalen

Wir präsentieren Diff3F als eine einfache, robuste und klassenunabhängigeMerkmalsbeschreibung, die für untexturierte Eingabeformen (Netze oder Punktwolken)berechnet werden kann. Unsere Methode extrahiert Diffusionsmerkmale vonbildbasierten Grundmodellen auf die Eingabeformen. Insbesondere verwenden wir dieEingabeformen, um Tiefen- und Normalenabbildungen zu erzeugen, die als Leitlinienfür bedingte Bildsynthese dienen. Im Verlauf dieses Prozesses produzieren wir(Diffusions-) Merkmale in 2D, die wir anschließend auf der ursprünglichen Oberflächeaufheben und aggregieren. Unser zentrales Befund ist, dass selbst wenn die aus dermehransichtsbasierten Rendering der Eingabeformen gewonnenen bedingten Bildgenerierungen inkonsistent sind,die dazugehörigen Bildmerkmale robust sind und daher direkt über verschiedene Ansichten hinweg aggregiert werden können.Dies erzeugt semantische Merkmale auf den Eingabeformen, ohne zusätzliche Daten oder Training zu benötigen.Wir führen umfangreiche Experimente an mehreren Benchmarks (SHREC'19, SHREC'20, FAUST und TOSCA) durch und zeigen,dass unsere Merkmale, da sie semantisch statt geometrisch sind, verlässliche Korrespondenz sowohl bei isometrisch als auchbei nicht-isometrisch verwandten Formfamilien erzeugen. Der Quellcode ist über die Projektseite unterhttps://diff3f.github.io/ verfügbar.