HyperAIHyperAI

Command Palette

Search for a command to run...

تينكر: هدية التشتت للثلاثي الأبعاد - تحرير متسق من زوايا متعددة من مدخلات نادرة دون تحسين مخصص للمشهد

Canyu Zhao Xiaoman Li Tianjian Feng Zhiyue Zhao Hao Chen Chunhua Shen

الملخص

نُقدّم "تينكر" (Tinker)، وهي إطار عمل متعدد الاستخدامات للتعديل ثلاثي الأبعاد عالي الدقة، يعمل في بيئتين: تعديل واحد فقط (one-shot) أو عدد قليل من الصور (few-shot) دون الحاجة إلى أي تدريب مخصص لكل مشهد. على عكس التقنيات السابقة التي تتطلب تحسينًا مكثفًا لكل مشهد لضمان التماسك بين الرؤى المتعددة أو لإنتاج عشرات الصور المعدلة المتناسقة، يُقدّم "تينكر" تعديلات قوية ومتزنة من حيث الرؤى المتعددة، وذلك من خلال استخدام صور واحدة أو اثنتين فقط. تعود هذه القدرة إلى إعادة استخدام نماذج التشتت المُدرّبة مسبقًا، مما يُطلق الوعي الثلاثي الأبعاد الخفي (latent 3D awareness) المُدمج فيها. ولتحفيز الأبحاث في هذا المجال، قمنا بجمع أول مجموعة بيانات ضخمة متعددة الرؤى مخصصة للتعديل، مع تدفق بيانات متكامل يغطي مشاهد ومجالات فنية متنوعة. وباستناد إلى هذه المجموعة، طوّرنا إطار عملنا القادر على إنتاج صور معدلة متماسكة من عدة زوايا دون الحاجة إلى تدريب مخصص لكل مشهد، ويتكوّن هذا الإطار من مكوّنين جديدين: (1) محرر متعدد الرؤى قائم على التصريح (Referring multi-view editor): يُمكّن من إجراء تعديلات دقيقة موجهة بالمرجع، مع الحفاظ على التماسك البصري عبر جميع الزوايا. (2) مُولّد فيديو من أي زاوية (Any-view-to-video synthesizer): يستفيد من المعرفة المكانية-الزمنية المُستمدة من نماذج التشتت المرئية لتنفيذ إكمال مشهد عالي الجودة وإنشاء رؤى جديدة، حتى من مدخلات محدودة. من خلال تجارب واسعة النطاق، يُقلّل "تينكر" بشكل كبير من الحواجز أمام إنشاء محتوى ثلاثي الأبعاد قابل للتوسع، ويحقق أداءً متفوقًا على مستوى الحالة الحالية (state-of-the-art) في مهام التعديل، وإنشاء الرؤى الجديدة، وتحسين العرض المرئي. نعتقد أن "تينكر" يُمثّل خطوة أساسية نحو تحقيق تعديل ثلاثي الأبعاد قابل للتوسع حقًا وبدون تدريب مسبق (zero-shot).صفحة المشروع: https://aim-uofa.github.io/Tinker


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تينكر: هدية التشتت للثلاثي الأبعاد - تحرير متسق من زوايا متعددة من مدخلات نادرة دون تحسين مخصص للمشهد | مستندات | HyperAI