Schritt für Schritt zeichnen: Rekonstruktion von CAD-Bauabläufen aus Punktwolken mittels multimodaler Diffusion.

Die Rekonstruktion von CAD-Bauabläufen aus roher 3D-Geometrie dient als Schnittstelle zwischen physischen Objekten und digitalen Entwürfen. In diesem Artikel stellen wir CAD-Diffuser vor, ein multimodales Diffusionsverfahren, das darauf abzielt, das top-down-Entwurfsparadigma in die generative Rekonstruktion zu integrieren. Insbesondere vereinen wir CAD-Punktwolken und CAD-Bauabläufe auf der Token-Ebene und leiten damit unsere vorgeschlagene multimodale Diffusionsstrategie an, um sowohl die Geometrie als auch das Entwurfsintention, die in den Bauabläufen konzentriert ist, zu verstehen und miteinander zu verknüpfen. Ausgehend von den starken Dekodierungsfähigkeiten von Sprachmodellen wird der Vorwärtsprozess als zufälliger Spaziergang zwischen dem ursprünglichen Token und dem [MASK]-Token modelliert, während der Rückwärtsprozess natürlich zur Modellierung maskierter Tokens passt. Ein volumenbasiertes Rauschschema wird entworfen, um eine outline-first-Generierung zu fördern und die top-down-Entwurfsmethodik in ein maschinenverstehbares Verfahren zu zerlegen. Zur Tokenisierung von CAD-Daten mehrerer Modalitäten führen wir einen Tokenizer mit einer selbstüberwachten Flächensegmentierungsaufgabe ein, um lokale und globale geometrische Informationen für CAD-Punktwolken zu komprimieren, während der CAD-Bauablauf in eine Folge von Primitive-Tokens transformiert wird. Experimentelle Ergebnisse zeigen, dass unser CAD-Diffuser geometrische Details wahrnimmt und die Ergebnisse wahrscheinlicher für die Wiederverwendung durch menschliche Designer sind.