تنبؤ التوافق البصري واعٍ بالسياق

كيف نحدد ما إذا كانت قطعتان أو أكثر من الملابس متوافقتين أو جذابتين بصريًا؟ جزء من الإجابة يكمن في فهم الجماليات البصرية، وهو ما يتأثر بالرغبات الشخصية التي تشكلها المواقف الاجتماعية والزمان والمكان. في هذا البحث، نقترح طريقة تتنبأ بتوافق قطعتين بناءً على خصائصهما البصرية وكذلك سياقهما. نعرّف السياق بأنه المنتجات المعروفة بأنها متوافقة مع كل من هاتين القطعتين. نموذجنا يختلف عن نماذج التعلم القياسي الأخرى التي تعتمد فقط على المقارنات الثنائية بين خصائص القطع. نعالج مشكلة التنبؤ بالتوافق باستخدام شبكة عصبية بيانية تتعلم إنشاء تمثيلات للمنتجات مشروطة بسياقها. نقدم النتائج لمهامتن تنبؤ (إكمال الفراغ وتوافق الملابس) تم اختبارهما على مجموعتي بيانات الموضة Polyvore و Fashion-Gen، وعلى مجموعة فرعية من مجموعة بيانات Amazon؛ حيث حققنا أفضل النتائج الحالية عند استخدام المعلومات السياقية وأظهرنا كيف تتحسن أداء الاختبار مع زيادة استخدام السياق.