التحويل الأسلوبي القائم على العكس باستخدام نماذج التبديد

إن الأسلوب الفني داخل اللوحة هو وسيلة التعبير، والتي تشمل ليس فقط المواد المستخدمة في الرسم والألوان والخطوط، بل أيضًا السمات عالية المستوى مثل العناصر الدلالية وأشكال الكائنات، إلخ. غالبًا ما تفشل الطرق السابقة القائمة على الأمثلة العشوائية لتوليد الصور الفنية في التحكم بدقة في تغيرات الأشكال أو نقل العناصر. في المقابل، حققت نماذج التوليد الاحتمالي المبنيّة على التمدد (diffusion) للصورة من النص المُدرّبة مسبقًا نتائج متميزة من حيث الجودة، ولكنها تتطلب غالبًا وصفًا نصيًا مفصّلًا للغاية لتمثيل الخصائص الدقيقة للوحة فنية معينة. ونحن نعتقد أن فريدية العمل الفني تكمن بالضبط في عدم إمكانية وصفه بشكل كافٍ بلغة عادية. تكمن فكرتنا الأساسية في تعلّم الأسلوب الفني مباشرةً من لوحة واحدة، ثم توجيه عملية التوليد دون الحاجة إلى تقديم وصف نصي معقد. بشكل محدد، نفترض أن الأسلوب هو وصف نصي قابل للتعلم للوحة فنية. نقترح طريقة نقل الأسلوب القائمة على الاسترجاع (InST)، التي تتيح تعلّم المعلومات الأساسية للصورة بكفاءة ودقة عالية، وبالتالي التقاط نمط اللوحة الفنية ونقله بنجاح. ونُظهر جودة وكفاءة طريقة العمل لدينا من خلال تطبيقها على عدد كبير من اللوحات لفنانين وأساليب متنوعة. يتوفر الكود والنماذج على الرابط: https://github.com/zyxElsa/InST.