PCT-Net: التوحيد الكامل للصورة بحلقة عالية باستخدام تحويلات لونية حسب البكسل

في هذه الورقة، نقدم نموذج PCT-Net، وهو طريقة بسيطة وعامة لتوحيد الصور، يمكن تطبيقها بسهولة على الصور بحلّة كاملة. الفكرة الأساسية تتمثّل في تعلُّم شبكة مُعامِلات (parameter network) تستخدم صورًا مُخفَّضة الدقة لتنبؤ المعاملات الخاصة بتحويلات الألوان لكل بكسل (PCTs)، والتي تُطبَّق على كل بكسل في الصورة ذات الدقة الكاملة. نُظهِر أن تحويلات الألوان التآلفية (affine color transforms) تكون فعّالة وكفؤة، مما يؤدي إلى نتائج متميزة في التوحيد، تفوق الأفضل حالياً. علاوةً على ذلك، نستعرض استخدام كل من الشبكات العصبية التلافيفية (CNNs) والمحولات (Transformers) كشبكة مُعامِلات، ونُظهِر أن المحولات تُحقِّق نتائج أفضل. تم تقييم الطريقة المقترحة على مجموعة بيانات iHarmony4 الكاملة الدقة، التي تتكون من أربع مجموعات بيانات، حيث أظهرت تقليلًا في متوسط مربع الخطأ للخلفية (fMSE) وقيمة متوسط مربع الخطأ (MSE) بأكثر من 20٪، مع زيادة في قيمة PSNR بـ 1.4 ديسيبل، مع الحفاظ على خفة البنية المعمارية. وفي دراسة تجريبية مع 20 مشاركًا، أظهرنا أن الطريقة تحقق تقييمًا أعلى من طريقتين أخريين حديثتين من حيث معيار B-T.