Command Palette
Search for a command to run...
تحسين توقع السمات الوجهية باستخدام التجزئة الدلالية
تحسين توقع السمات الوجهية باستخدام التجزئة الدلالية
Kalayeh Mahdi M. Gong Boqing Shah Mubarak
الملخص
السمات هي خصائص ذات معنى معنوي، وتطبيقها يمتد على نطاق واسع عبر حدود الفئات المختلفة. وتُعدّ هذه السمات مهمة بشكل خاص في وصف وتمييز المفاهيم التي لا تُقدَّم لها أمثلة تدريب صريحة، مثل التعلم الصفرية (zero-shot learning). علاوةً على ذلك، وبما أن السمات قابلة للوصف من قبل البشر، يمكن استخدامها لتحسين التفاعل بين الإنسان والحاسوب. في هذه الورقة، نقترح استخدام التجزئة المعنوية (semantic segmentation) لتحسين توقع السمات الوجهية. وتكمن الفكرة الأساسية في أن العديد من السمات الوجهية تصف خصائص محلية. بعبارة أخرى، لا يكون احتمال ظهور سمة ما في صورة وجه موحدًا في المجال المكاني. نُبنى نموذج توقع السمات الوجهية بشكل مشترك مع شبكة عميقة لتجزئة معنوية. وبهذا، نستفيد من إشارات التحديد المكاني التي تتعلمها الشبكة لتجزئة المعنى لتقود انتباه نموذج التوقع نحو المناطق التي تظهر فيها السمات المختلفة بشكل طبيعي. وبنتيجة هذه الطريقة، وبالإضافة إلى التعرف على السمات، نتمكن من تحديد مواقعها، حتى مع توفر علامات على مستوى الصورة فقط (إشراف ضعيف) أثناء التدريب. وقد قمنا بتقييم طريقة الاقتراح المقترحة على مجموعتي بيانات CelebA وLFWA، وحققنا نتائج أفضل من الطرق السابقة. علاوةً على ذلك، نُظهر أن في المشكلة العكسية، تتحسن عملية تحليل الوجه المعنوي عندما تكون السمات الوجهية متوفرة. وهذا يؤكد الحاجة إلى نمذجة هاتين المهمتين المترابطتين معًا بشكل مشترك.