نقدم نموذج Part-X-MLLM، وهو نموذج لغوي كبير متعدد الوسائط مُصمم خصيصًا للثلاثية الأبعاد، يُوحّد مهام ثلاثية الأبعاد متنوعة من خلال صياغتها كبرامج ضمن قواعد تركيبية قابلة للتنفيذ. وباستخدام سحابة نقاط بألوان RGB وطلبًا بلغة طبيعية، يقوم نموذجنا بإنشاء تسلسل منطقي متسلسل (autoregressively) يتكوّن من مجموعة واحدة من الرموز المترابطة، تُشْرِح صناديق حدودية على مستوى الأجزاء، ووصفًا معنويًا، وأوامر تعديل. يُشكّل هذا الإخراج المُنظّم واجهة متعددة الاستخدامات لتشغيل الوحدات اللاحقة المُتَوَقِّعة للهندسة (geometry-aware) لغرض توليد وتعديل الأجزاء بناءً على هيكل معين. وبفضل فصل التخطيط الرمزي عن التوليد الهندسي، يتيح لنا النهج توجيه أي محرك هندسي متوافق من خلال واجهة أمامية واحدة مبنية على اللغة. وقد قمنا بتدريب النموذج مسبقًا باستخدام بنية مُشفّر مزدوج (dual-encoder) لفصل البنية عن المعنى، ثم قمنا بضبطه تدريبيًا حسب التعليمات على مجموعة بيانات كبيرة مركّزة على الأجزاء. تُظهر التجارب أن النموذج يتفوّق في إنتاج خطط منظمة عالية الجودة، ما يمكّنه من تحقيق أداءً متفوّقًا في مهام الاستجابة المُتَعَلِّقة بالسياق (grounded Q&A)، والتوليد المركّب، والتعديل المُحَدَّد مكانيًا، من خلال واجهة موحّدة واحدة. صفحة المشروع: https://chunshi.wang/Part-X-MLLM/