LION: نماذج الت(diffusion) النقطية الكامنة لتخليق الأشكال ثلاثية الأبعاد

أظهرت نماذج التشتت الخالي من الضوضاء (DDMs) نتائج واعدة في توليد السحاب النقطي ثلاثي الأبعاد. ولتعزيز نماذج DDM ثلاثية الأبعاد وجعلها مفيدة للفنانين الرقميين، نحتاج إلى (أ) جودة عالية في التوليد، (ب) مرونة في التلاعب والتطبيقات مثل التوليد الشرطي والانسيابية الشكلية، و(ج) القدرة على إخراج أسطح ناعمة أو شبكات ثلاثية الأبعاد (meshes). ولتحقيق هذا الهدف، نقدم نموذج التشتت النقطي الهرمي (LION) لتكوين الأشكال ثلاثية الأبعاد. يتم بناء LION كنظام تشفير تلقائي تبايني (VAE) يعتمد على فضاء لاتيني هرمي يدمج تمثيلاً لاتينياً شاملاً للشكل مع فضاء لاتيني منظم بنقط. وبالنسبة للتكوين، ندرّب نموذجين هرميين لـ DDM في هذين الفضاءين اللاتينيين. ويساهم النهج الهرمي لـ VAE في تحسين الأداء مقارنة بالنماذج التي تعمل مباشرة على السحاب النقطية، في حين أن الفضاءات اللاتينية المُنظمة بنقاط تظل مثالية لنموذج التشتت القائم على DDM. وتشير النتائج التجريبية إلى أن LION يحقق أداءً متقدماً على مستويات متعددة من معايير ShapeNet. علاوةً على ذلك، يسمح لنا إطار VAE بسهولة استخدام LION في مهام مختلفة ذات صلة: يتفوق LION في تنظيف الأشكال متعددة النماذج (multimodal shape denoising) والتوليد الشرطي بناءً على المكعبات (voxel-conditioned synthesis)، ويمكن تكييفه لتوليد ثلاثي الأبعاد مدعومًا بالنص أو الصور. كما نُظهر التشفير التلقائي للأشكال والانسيابية اللاتينية للأشكال، ونُحسّن LION بدمج تقنيات حديثة لإعادة بناء الأسطح لتكوين شبكات ثلاثية الأبعاد ناعمة. نأمل أن يُقدّم LION أداة قوية للفنانين العاملين مع الأشكال ثلاثية الأبعاد بفضل جودة التوليد العالية، والمرونة، وإمكانية إعادة بناء الأسطح. صفحة المشروع والكود: https://nv-tlabs.github.io/LION.