من واحد إلى أكثر: الكامنات الجزئية السياقية لتوليد الأشكال ثلاثية الأبعاد

التطورات الحديثة في توليد الصور ثلاثية الأبعاد انتقلت من نهج التصوير ثنائي الأبعاد متعدد الزوايا إلى إطار عمل التوزيع الكامن الثلاثي الأبعاد الذي يستغل المعايير الهندسية في البيانات الحقيقية. رغم التقدم المحرز، لا تزال ثلاثة تحديات رئيسية قائمة: (1) تمثيلات الكمون الواحدة غير قادرة على التقاط الهندسات المعقدة المتعددة الأجزاء، مما يؤدي إلى تدهور التفاصيل؛ (2) الترميز الكامن الشامل يتجاهل الاستقلالية والعلاقات بين الأجزاء التي تعتبر أساسية للتصميم التركيبي؛ (3) آليات التحكم العالمية تفتقر إلى القدرة على التحكم الدقيق.مستوحاة من سير العمل في تصميم الإنسان ثلاثي الأبعاد، نقترح نظام CoPart - وهو إطار عمل توزيع يدرك الأجزاء ويفكك الأشياء ثلاثية الأبعاد إلى كمون أجزاء سياقية لتقديم توليد متعدد الأجزاء متماسك. يقدم هذا النموذج ثلاثة مزايا: i) يقلل من تعقيد الترميز من خلال فكك الأجزاء؛ ii) يتيح نمذجة العلاقات بين الأجزاء بشكل صريح؛ iii) يدعم التحكم على مستوى الجزء.لتمكين التدريب على نطاق واسع، قمنا بتطوير استراتيجية الإرشاد المتبادل لضبط نماذج التوزيع المدربة مسبقًا للتخلص من الضوضاء في كمون الأجزاء المشتركة، مما يضمن التجانس الهندسي وأولويات النموذج الأساسي. لتمكين التدريب على نطاق كبير، قمنا ببناء Partverse - وهي مجموعة بيانات جديدة للأجزاء ثلاثية الأبعاد مشتقة من Objaverse عبر تقسيم الشبكات العنكبوتية الآلي وال Annotations التي تم التحقق منها بواسطة البشر. أظهرت التجارب الواسعة أن CoPart يتمتع بقدرات فائقة في تحرير مستوى الجزء وتوليد الأجسام المتحركة والتركيب المناظر مع تحكم غير مسبوق.