معايرة التعرف على الأفعال الدقيقة: مجموعة البيانات، الطرق، والتطبيقات

السلوك الدقيق هو سلوك غير لفظي غير ملحوظ يتميز بالحركة ذات الشدة المنخفضة. يوفر هذا السلوك رؤى حول مشاعر ونيات الأفراد، وهو مهم للتطبيقات الموجهة نحو الإنسان مثل التعرف على العواطف والتقييم النفسي. ومع ذلك، فإن تحديد وتفرقة وفهم السلوكيات الدقيقة يمثل تحديًا بسبب طبيعتها غير الملحوظة وغير القابلة للوصول في الحياة اليومية. في هذه الدراسة، نجمع بشكل مبتكر مجموعة بيانات جديدة تُسمى "Micro-action-52" (MA-52)، ونقترح مقاييسًا جديدًا يُسمى شبكة السلوك الدقيق (MANet) للمهمة الخاصة بالتعرف على السلوكيات الدقيقة (MAR). بشكل فريد، توفر MA-52 منظور الجسم كله، بما في ذلك الإيماءات والحركات العلوية والسفلية للأطراف، محاولةً الكشف عن مؤشرات شاملة للسلوك الدقيق. بالتفصيل، تحتوي MA-52 على 52 فئة من السلوكيات الدقيقة مع سبعة علامات لأجزاء الجسم، وتغطي مجموعة كاملة من السلوكيات الدقيقة الواقعية والطبيعية، والتي تم جمعها من 205 مشاركًا و22,422 حالة فيديو من المقابلات النفسية. بناءً على المجموعة المقترحة، نقيم MANet بالإضافة إلى تسعة طرق شائعة للتعرف على الحركات. تدمج MANet تقنيتي الضغط والإثارة (SE) والوحدة الزمنية المتحركة (TSM) في هيكل ResNet لنمذجة الخصائص الزمانية والمكانية للسلوكيات الدقيقة. ثم يتم تصميم خسارة التضمين المشتركة لتطابق دلالي بين الفيديو وعلامات الحركة؛ تُستخدم هذه الخسارة لتمييز أفضل بين فئات السلوكيات الدقيقة التي تبدو مشابهة بصريًا ولكنها مختلفة. لقد أثبتت التطبيق الممتد في التعرف على العواطف أحد أهم قيم المجموعة والطريقة المقترحتين لدينا. في المستقبل، سيتم إجراء استكشاف أعمق للسلوك البشري والعواطف والتقييم النفسي. تم إطلاق المجموعة والكود المصدر على https://github.com/VUT-HFUT/Micro-Action.