Sung-Lin Tsai Bo-Lun Huang Yu Ting Shen Cheng Yu Yeo Chiang Tseng Bo-Kai Ruan Wen-Sheng Lien Hong-Han Shuai

الملخص

يُعدّ التماثل الدقيق للألوان في توليد الصور من النصوص (T2I) أمراً بالغ الأهمية لتطبيقات مثل الموضة وتصوّر المنتجات وتصميم الديكور الداخلي، غير أن النماذج التبادلية الحالية تواجه صعوبات في التعامل مع مصطلحات الألوان الدقيقة والمركبة (مثل: الأزرق تيفاني، الأخضر الليموني، الوردي الساخن)، وغالباً ما تُنتج صوراً لا تتماشى مع نية المستخدم. تعتمد الطرق الحالية على تعديل الانتباه المتقاطع، أو الصور المرجعية، أو التدريب الدقيق، لكنها تفشل في حل مشكلة وصف الألوان الغامضة بشكل منهجي. لتمثيل دقيق للألوان في ظل غموض النص المُدخل، نقترح إطاراً لا يتطلب تدريباً، يُحسّن دقة الألوان من خلال استغلال نموذج لغة كبير (LLM) لتفنيد مصطلحات الألوان في النص المُدخل، ويدلّ على عمليات مزج الألوان مباشرة في فضاء التضمين النصي. تبدأ طريقة العمل باستخدام نموذج لغة كبير (LLM) لحل مصطلحات الألوان الغامضة في النص المُدخل، ثم تُعدّل تضمينات النص استناداً إلى العلاقات المكانية للمصطلحات اللونية الناتجة في فضاء الألوان CIELAB. على عكس الطرق السابقة، تُحسّن طريقة العمل دقة الألوان دون الحاجة إلى تدريب إضافي أو صور مرجعية خارجية. تُظهر النتائج التجريبية أن الإطار المُقترح يُحسّن التماثل اللوني دون التأثير على جودة الصورة، مُسْتَمِرّاً في تضييق الفجوة بين الدلالة النصية والتحوّل البصري.