مُحَوِّل التلوين

نقدّم نموذج Colorization Transformer، وهي طريقة جديدة لاستعادة الألوان في الصور بدقة عالية وتنوع كبير، تعتمد على الانتباه الذاتي (self-attention). عند إدخال صورة رمادية، تتم عملية استعادة الألوان عبر ثلاث خطوات. أولاً، نستخدم نموذجًا انتقائيًا ذاتيًا (conditional autoregressive transformer) لإنتاج تلوين أولي بدرجة وضوح منخفضة للصورة الرمادية. تعتمد هندستنا على طبقات نموذج انتقائي (conditional transformer layers) لضمان تأثير فعّال للإدخال الرمادي. ثم، تُستخدم شبكتان كاملتان متوازيتان للخطوة التالية لرفع دقة الصورة الملوّنة الأولية إلى صورة ملوّنة بدرجة وضوح عالية ودقة دقيقة. وعند أخذ عينات من نموذج Colorization Transformer، تُنتج تلوينات متنوعة تتفوق في الجودة على أفضل النماذج السابقة في استعادة ألوان الصور من مجموعة ImageNet، وذلك من حيث نتائج معيار FID، وكذلك من حيث تقييم بشري أُجري عبر اختبار Mechanical Turk. وتجدر الإشارة إلى أن أكثر من 60% من المُقيّمين البشريين أبدوا تفضيلهم للصورة الملوّنة التي حصلت على أعلى تقييم بين ثلاث صور مُولّدة، مقارنةً بالصورة الأصلية (ground truth). يُتاح الكود ونقاط التدريب المسبقة (pre-trained checkpoints) الخاصة بنموذج Colorization Transformer للجمهور عبر الرابط التالي: https://github.com/google-research/google-research/tree/master/coltran