AUFormer: المتحولات البصرية هي كاشفات فعالة من حيث المعلمات لوحدات العمل الوجهية

الوحدات الفعلية للوجه (AU) هي مفهوم حيوي في مجال الحوسبة العاطفية، وتشكل اكتشاف الوحدات الفعلية للوجه موضوعًا بحثيًا ساخنًا دائمًا. تعاني الطرق الحالية من مشاكل التكيف الزائد بسبب استخدام عدد كبير من المعلمات القابلة للتعلم على مجموعات بيانات نادرة التسمية بالوحدات الفعلية للوجه أو الاعتماد الشديد على بيانات إضافية ذات صلة كبيرة. يوفر التعلم النقل ذو الكفاءة المعلمية (PETL) نموذجًا واعدًا لحل هذه التحديات، ومع ذلك فإن طرقه الحالية تفتقر إلى تصميم خاص بخصائص الوحدات الفعلية للوجه. لذلك، نقوم بدراسة مبتكرة لنظام PETL في اكتشاف الوحدات الفعلية للوجه، حيث نقدم AUFormer ونشير إلى آلية تعاون جديدة تُعرف باسم خبير مزيج المعرفة (MoKE). يتم أولاً دمج المعرفة المتعددة المقاييس والمعرفة المرتبطة الشخصية بواسطة MoKE فردي محدد لوحدة فعلية معينة للوجه مع عدد قليل جدًا من المعلمات القابلة للتعلم. ثم يتعاون MoKE مع باقي الخبراء في مجموعة الخبراء للحصول على المعلومات المجمعة وإدخالها في المحول البصري (Vision Transformer - ViT) الثابت لتحقيق اكتشاف وحدات فعلية للوجه بكفاءة عالية من حيث المعلمات. بالإضافة إلى ذلك، صممنا خسارة غير متوازنة ذات وزن حساس للمشكلة ومبتورة الهامش (MDWA-Loss)، والتي يمكن أن تشجع النموذج على التركيز أكثر على الوحدات الفعلية النشطة، وتفرقة صعوبة الوحدات الفعلية غير النشطة، والتخلص من العينات المحتمل تسميتها بشكل خاطئ. تظهر التجارب الواسعة من وجهات نظر مختلفة، بما في ذلك داخل المجال، عبر المجال، كفاءة البيانات، ومجال التعابير الدقيقة، أداء AUFormer الرائد وقدراته العامة القوية دون الاعتماد على بيانات إضافية ذات صلة. يمكن الحصول على رمز AUFormer من الرابط التالي: https://github.com/yuankaishen2001/AUFormer.