HyperAIHyperAI
منذ 2 أشهر

حقل الإشعاع العصبي المولد الشرطي المستمر حسب الفئة

Kim, Jiwook ; Lee, Minhyeok
حقل الإشعاع العصبي المولد الشرطي المستمر حسب الفئة
الملخص

التركيز في توليد الصور ثلاثية الأبعاد يكمن في الحفاظ على التوافق المكاني بالإضافة إلى إنتاج صور عالية الدقة تحتوي على تفاصيل دقيقة. مؤخرًا، تم تقديم حقل الإشعاع العصبي (NeRF) لتوليد مشاهد جديدة بتكلفة حوسبة منخفضة وأداء متفوق. رغم تحقيق العديد من الدراسات نتائج ملحوظة في مجال NeRF التوليدي، إلا أنها لا تستطيع التعامل مع التلاعب بالخصائص المشروطة والمستمرة أثناء عملية التوليد. في هذا العمل، نقدم نموذجًا جديدًا يُسمى NeRF الجيني المشروط المستمر حسب الفئة ($\text{C}^{3}$G-NeRF)، والذي يمكنه توليد صور ثلاثية الأبعاد واقعية ومتوافقة مكانيًا بشكل مشروط من خلال إسقاط الخصائص المشروطة على المولد والتمييز. تم تقييم النموذج المقترح $\text{C}^{3}$G-NeRF باستخدام ثلاثة مجموعات بيانات للصور: AFHQ، CelebA، وCars. نتيجة لذلك، أظهر نموذجنا توافقًا قويًا ثلاثي الأبعاد مع تفاصيل دقيقة وتداخل سلس عند التلاعب بالخصائص المشروطة. على سبيل المثال، حقق $\text{C}^{3}$G-NeRF مسافة فريشيه للاستقراء (FID) قدرها 7.64 في توليد صور الوجوه ثلاثية الأبعاد بدرجة دقة $\text{128}^{2}$. بالإضافة إلى ذلك، نوفر FIDs للصور الثلاثية الأبعاد التي تم توليدها لكل فئة من فئات مجموعات البيانات، حيث يمكن توليد صور مشروطة حسب الفئة باستخدام $\text{C}^{3}$G-NeRF.