Command Palette
Search for a command to run...
SPATIALGEN: توليد مشهد داخلي ثلاثي الأبعاد موجه بالهيكل
SPATIALGEN: توليد مشهد داخلي ثلاثي الأبعاد موجه بالهيكل
Chuan Fang Heng Li Yixun Liang Jia Zheng Yongsen Mao Yuan Liu Rui Tang Zihan Zhou Ping Tan
الملخص
إن إنشاء نماذج ثلاثية الأبعاد عالية الدقة للبيئات الداخلية أمر ضروري لتطبيقات متعددة في التصميم والواقع الافتراضي والروبوتات. ومع ذلك، ما زال إنشاء النماذج ثلاثية الأبعاد يدويًا يُعدّ عملية طويلة وشاقة. وعلى الرغم من التقدم الأخير في الذكاء الاصطناعي التوليدى الذي مكّن من توليد المشاهد تلقائيًا، فإن الطرق الحالية تواجه صعوبات في تحقيق التوازن بين الجودة البصرية، والتنوع، والاتساق الدلالي، وتحكم المستخدم. وتمثل النقطة الحرجة الرئيسية نقص مجموعة بيانات كبيرة وعالية الجودة مخصصة لهذا المهمة. ولسد هذه الفجوة، نقدم مجموعة بيانات مُصَنَّعة شاملة، تتضمن 12,328 مشهدًا منظمًا مُعلَّمًا بتفاصيل، و57,440 غرفة، و4.7 مليون صورة ثنائية الأبعاد واقعية بصريًا. وباستخدام هذه المجموعة، نقدّم نموذجًا جديدًا يُسمى "سبيسالجين" (SpatialGen)، وهو نموذج توزيع متعدد الرؤى ومتعدد الوسائط، يُولِّد مشاهد داخلية ثلاثية الأبعاد واقعية ومتوازنة دلاليًا. وبمجرد إدخال تخطيط ثلاثي الأبعاد وصورة مرجعية (تُستخلص من نص مُدخل)، يقوم النموذج بتوليد المظهر (صورة بألوان حقيقية)، والهندسة (خريطة إحداثيات المشهد)، والدلالات (خريطة التجزئة الدلالية) من أي زاوية رؤية، مع الحفاظ على الاتساق المكاني بين الوسائط المختلفة. وقد أظهرت تجاربنا تفوق نموذج "سبيسالجين" باستمرار على الطرق السابقة. ونحن نُعلن عن إتاحة بياناتنا ونماذجنا مفتوحة المصدر لتمكين المجتمع العلمي ودفع عجلة التقدم في مجال فهم وتوليد المشاهد الداخلية.