ToonComposer: تبسيط إنتاج الكرتون باستخدام التوليد بعد الإطارات الرئيسية

تتطلب إنتاجية الرسوم الكرتونية والأنمي التقليدية مراحل التحديد المركزي (keyframing)، والتمهيد (inbetweening)، وتطبيق الألوان (colorization)، والتي تتطلب جهودًا يدوية مكثفة. وعلى الرغم من التطورات الحديثة في مجال الذكاء الاصطناعي، فإن الطرق الحالية غالبًا ما تُعالج هذه المراحل بشكل منفصل، مما يؤدي إلى تراكم الأخطاء وظهور عيوب بصرية. على سبيل المثال، تواجه الطرق المتبعة في التمهيد صعوبات في التعامل مع الحركات الكبيرة، في حين أن طرق تطبيق الألوان تتطلب رسمًا تفصيليًا لكل إطار. ولحل هذه المشكلة، نقدم نموذج ToonComposer، وهو نموذج توليدي يُوحِّد مراحل التمهيد وتطبيق الألوان في مرحلة واحدة موحدة تأتي بعد التحديد المركزي. يستخدم ToonComposer آلية إدخال رسم مبسط (sparse sketch injection) لتقديم تحكم دقيق من خلال رسمات المخططات الرئيسية (keyframe sketches). علاوةً على ذلك، يعتمد على طريقة تكييف رسوم كرتونية باستخدام مُعدّل منخفض الرتبة المكاني (spatial low-rank adapter)، لضبط نموذج أساسي لفيديوهات حديث يتناسب مع مجال الرسوم الكرتونية، مع الحفاظ على التفضيل الزمني الأصلي للنموذج. يُظهر ToonComposer كفاءة عالية حتى مع إدخالات محدودة، مثل رسمة واحدة وإطار ملون مرجعي واحد، وفي الوقت نفسه يدعم إدخال عدة رسمات في أي موقع زمني لتحقيق تحكم دقيق في الحركة. تتيح هذه القدرتان المزدوجتان تقليل العبء اليدوي وتحسين المرونة، مما يعزز قدرة الفنانين في السياقات الواقعية. ولتقييم نموذجنا، أنشأنا أيضًا معيار PKBench، وهو معيار يضم رسمًا يدويًا يحاكي حالات استخدام واقعية. تُظهر نتائج تقييمنا أن ToonComposer يتفوق على الطرق الحالية من حيث الجودة البصرية، والاتساق الحركي، وكفاءة الإنتاج، مقدّمًا حلاً متفوقًا ومُرنًا لدعم إنتاج الرسوم الكرتونية بالذكاء الاصطناعي.