Vorhersage von 3D-Formen, Masken und Eigenschaften von Materialien, Flüssigkeiten und Objekten innerhalb durchsichtiger Behälter mithilfe des TransProteus CGI-Datensatzes

Wir präsentieren TransProteus, ein Datensatz sowie Methoden zur Vorhersage der 3D-Struktur, Masken und Eigenschaften von Materialien, Flüssigkeiten und Objekten innerhalb transparenter Behälter anhand einer einzigen Bildaufnahme, ohne Vorwissen über die Bildquelle oder Kameraparameter. Die Manipulation von Materialien in transparenten Behältern ist in vielen Bereichen von entscheidender Bedeutung und hängt stark von der visuellen Wahrnehmung ab. In dieser Arbeit stellen wir einen neuartigen, prozedural generierten Datensatz vor, der 50.000 Bilder von Flüssigkeiten und festen Objekten innerhalb transparenter Behälter enthält. Die Bildannotationen umfassen 3D-Modelle, Material-Eigenschaften (Farbe/Transparenz/Rauheit usw.) sowie Segmentierungsmasken für den Behälter und dessen Inhalt. Der synthetische (CGI-) Teil des Datensatzes wurde prozedural mithilfe von 13.000 verschiedenen Objekten, 500 unterschiedlichen Umgebungen (HDRI) und 1.450 Materialtexturen (PBR) unter Verwendung simulierter Flüssigkeiten und prozedural generierter Behälter erzeugt. Zusätzlich liefern wir 104 reale Bilder von Objekten innerhalb transparenter Behälter mit Tiefenkarten sowohl für den Behälter als auch für seinen Inhalt. Wir schlagen eine kameraunabhängige Methode vor, die aus einem Bild 3D-Modelle als XYZ-Koordinatenkarte vorhersagt. Dadurch kann das trainierte Netzwerk die 3D-Struktur als Karte mit XYZ-Koordinaten pro Pixel vorhersagen, ohne Vorwissen über die Bildquelle. Zur Berechnung des Trainingsverlusts verwenden wir die Distanz zwischen Paaren von Punkten innerhalb des 3D-Modells anstelle der absoluten XYZ-Koordinaten. Dies macht die Verlustfunktion translationsinvariant. Mit dieser Methode können wir 3D-Modelle von Behältern und deren Inhalt aus einer einzigen Bildaufnahme vorhersagen. Schließlich demonstrieren wir ein Netzwerk, das aus einer einzigen Aufnahme die Material-Eigenschaften des Behälterinhalts und der Oberfläche vorhersagt.