Text2Mesh: Textgesteuerte neurale Stilisierung für Meshes

In dieser Arbeit entwickeln wir intuitive Steuerungselemente zur Bearbeitung des Stils von 3D-Objekten. Unser Framework, Text2Mesh, verleiht einem 3D-Gitter (Mesh) durch die Vorhersage von Farbe und lokalen geometrischen Details, die einem Zieltext entsprechen, einen bestimmten Stil. Wir betrachten eine getrennte Darstellung eines 3D-Objekts, bei der ein fester Gittereingang (Inhalt) mit einem gelernten neuronalen Netzwerk gekoppelt wird, das wir als neuronales Stilfeldnetzwerk bezeichnen. Um den Stil zu modifizieren, erhalten wir einen Ähnlichkeitswert zwischen einem Textanweisung (die den Stil beschreibt) und einem stilisierten Gitter durch Nutzung der darstellenden Leistungsfähigkeit von CLIP. Text2Mesh erfordert weder ein vorab trainiertes generatives Modell noch einen spezialisierten 3D-Gitterdatensatz. Es kann Gitter mit beliebigem Geschlecht und niedriger Qualität (nicht-mannigfaltig, Ränder usw.) verarbeiten und benötigt keine UV-Parametrisierung. Wir demonstrieren die Fähigkeit unserer Technik, eine Vielzahl von Stilen auf einer breiten Palette von 3D-Gittern zu synthetisieren.