شبكة عرض المنحنيات المفصولة فضائيًا لتحسين الصور عالي الدقة وذو الكفاءة

تهدف التوحيد الصوري إلى تعديل لون المنطقة المركبة بالنسبة إلى الخلفية المحددة. نمذجت الدراسات السابقة هذه المهمة كتحويل صورة إلى صورة على مستوى البكسل باستخدام هياكل عائلة UNet. ومع ذلك، فإن حجم النموذج والتكلفة الحسابية يحدان من قدرة نماذجهم على الأجهزة الحافة والصور ذات الدقة العالية. ولحل هذه المشكلة، نقدم لأول مرة شبكة جديدة لرسم المنحنيات المفصولة مكانيًا (S$^2$CRNet) للتوحيد الصوري الفعّال والذو بدقة عالية. في S$^2$CRNet، نستخرج أولًا تمثيلات مفصولة مكانيًا من الصور المصغرة للخلفية والصورة الأمامية المُغطاة بشكل منفصل. ثم نصمم وحدة رسم المنحنيات (CRM)، التي تتعلم وتدمج المعرفة المحددة مكانيًا باستخدام طبقات خطية لإنشاء معاملات التمثيل المنحني المتعدد القطع في المنطقة الأمامية. وأخيرًا، نُرسِم مباشرة الصور الأصلية ذات الدقة العالية باستخدام المنحنيات اللونية المُتعلّمة. بالإضافة إلى ذلك، قمنا أيضًا بتمديد الإطار المُقترح من خلال وحدتي CRM المتسلسلة (Cascaded-CRM) والتوجيه الوظيفي (Semantic-CRM) لتوفير التحسين المتسلسل والتوجيه الوظيفي، على التوالي. أظهرت التجارب أن الطريقة المقترحة تقلل من عدد المعاملات بأكثر من 90% مقارنة بالطرق السابقة، مع الحفاظ على الأداء الرائد في كلا مجموعتي البيانات: iHarmony4 المُولّدة اصطناعيًا وDIH الواقعية. علاوةً على ذلك، يمكن لطريقتنا العمل بسلاسة على صور ذات دقة عالية (مثل $2048\times2048$) خلال 0.1 ثانية، وبمصدر حسابي على وحدة معالجة الرسومات (GPU) أقل بكثير من جميع الطرق الحالية. سيتم إتاحة الكود على الرابط: \url{http://github.com/stefanLeong/S2CRNet}.