AU R-CNN: ترميز المعرفة السابقة للخبراء في R-CNN لاكتشاف وحدات العمل

كشف وحدات العمل (AUs) على الوجوه البشرية يعتبر تحديًا بسبب التغييرات الدقيقة في مظهر الوجه التي تحدث في مناطق مختلفة وبمقياس مختلف. حاولت الأعمال الحالية التعرف على وحدات العمل عن طريق التركيز على المناطق المهمة. ومع ذلك، فإن دمج المعرفة السابقة للمتخصصين في تعريف المناطق لا يزال مستغلًا بشكل ضئيل، ولا تستخدم نماذج كشف وحدات العمل الحالية الشبكات العصبية الإدراكية الإقليمية (R-CNN) مع المعرفة السابقة للمتخصصين لتركيز مباشر ومتكيف على المناطق المتعلقة بوحدات العمل. من خلال دمج المعرفة السابقة للمتخصصين، نقترح نموذجًا جديدًا يستند إلى R-CNN باسم AU R-CNN. يقدم الحل المقترح مساهمتين رئيسيتين: (1) يراقب AU R-CNN مباشرة مناطق وجه مختلفة، حيث توجد وحدات العمل المختلفة. بصفة خاصة، نحدد قاعدة تقسيم وحدات العمل التي تقوم بتشفير المعرفة السابقة للمتخصصين في تعريف المنطقة وفي تعريف التسميات على مستوى RoI. هذا التصميم يحقق أداءً أفضل بكثير من النهج الموجودة. (2) ندمج أنواعًا مختلفة من النماذج الديناميكية (تشمل الشبكات العصبية الإدراكية طويلة الأمد قصيرة المدى، شبكة التيار الثنائي، المجال العشوائي الشرطي، والشبكة المحلية للعمل الزمني) في AU R-CNN ثم ندرس ونحلل السبب وراء أداء النماذج الديناميكية. تظهر نتائج التجارب أن المعلومات الثابتة للصور RGB فقط والـ AU R-CNN الذي لا يستخدم الجريان البصري يتفوق على النموذج الذي يتم دمجه مع النماذج الديناميكية. كما أن AU R-CNN أفضل أيضًا من الشبكات العصبية التقليدية (CNNs) التي تستخدم نفس الهيكل الأساسي عند حل صور بدقة مختلفة. تم تحقيق أداء التعرف الأفضل حاليًا لكشف وحدات العمل. يمكن تدريب الشبكة الكاملة بطريقة نهاية إلى نهاية. أظهرت التجارب على مجموعتي البيانات BP4D وDISFA فعالية نهجنا. الرمز البرمجي للتنفيذ متاح عبر الإنترنت.