Paint Transformer: الرسم العصبي التغذية الأمامية مع توقع الحركات الفنية

يُشير مصطلح "الرسم العصبي" إلى عملية إنتاج سلسلة من الخطوط لصورة معينة وإعادة إنشائها بشكل غير واقعي فوتوغرافيًا باستخدام الشبكات العصبية. في حين يمكن للوكلاء القائمين على التعلم بالتعزيز (RL) إنشاء تسلسل للخطوط خطوة بخطوة لهذا المهمة، فإن تدريب وكيل RL مستقر ليس أمرًا سهلاً. من ناحية أخرى، تبحث أساليب تحسين الخطوط عن مجموعة من معاملات الخطوط بشكل تكراري في فضاء بحث واسع، مما يؤدي إلى كفاءة منخفضة بشكل كبير، ما يحد بشكل كبير من انتشارها وملاءمتها العملية. على عكس الأساليب السابقة، نُصِف في هذه الورقة المهمة كمشكلة تنبؤ بالمجموعة، ونُقدِّم إطارًا جديدًا مبنيًا على المُحوِّل (Transformer)، يُسمى "مُحوِّل الرسم" (Paint Transformer)، للتنبؤ بمعاملات مجموعة الخطوط باستخدام شبكة عصبية متقدمة. وبهذا، يمكن لنموذجنا إنشاء مجموعة من الخطوط بالتوازي والحصول على اللوحة النهائية بحجم 512 × 512 تقريبًا في الوقت الفعلي. والأهم من ذلك، وبما أن لا توجد مجموعة بيانات متاحة لتدريب مُحوِّل الرسم، فقد صممنا نموذجًا ذاتي التدريب (self-training pipeline) يسمح بتدريبه دون الحاجة إلى أي مجموعة بيانات جاهزة، مع الحفاظ على قدرة تعميم ممتازة. تُظهر التجارب أن طريقةنا تحقق أداءً أفضل في الرسم مقارنة بالطرق السابقة، مع تكاليف تدريب واستنتاج أرخص. وتوفر الأكواد والنماذج المستخدمة.