مصفوفة جاكوبيان التقييم: رفع نماذج التمايز ثنائية الأبعاد المُدرَّبة مسبقًا لتعزيز التوليد ثلاثي الأبعاد

يتعلم نموذج الانتشار التنبؤ بحقل متجه لمشتقات. نقترح تطبيق قاعدة السلسلة على المشتقات المُتعلمة، ثم إعادة انتقال التقييم (score) الخاص بنموذج الانتشار عبر جاكوبيان (Jacobian) لمُعدّل قابل للتفاضل، ونُحدد هذا المُعدّل ليكون حقل إشعاعي مكوّن من فوكسلات (voxel radiance field). يُجمّع هذا الإطار التقييمات ثنائية الأبعاد من عدة زوايا كاميرات لتكوين تقييم ثلاثي الأبعاد، ويُعيد توظيف نموذج ثنائي الأبعاد مُدرّب مسبقًا لغرض إنشاء بيانات ثلاثية الأبعاد. ونحدد تحديًا تقنيًا يتمثل في عدم تطابق التوزيع (distribution mismatch) الذي ينشأ في هذا التطبيق، ونُقدّم آلية تقدير جديدة لحله. نُطبّق خوارزميتنا على عدة نماذج شائعة لتنبؤ الصور بالانتشار، بما في ذلك النموذج الأخير المُطلق، Stable Diffusion، الذي تم تدريبه على مجموعة بيانات ضخمة تُسمى LAION.