التعلم عبر النماذج عبر التدفق للتمييز الذاتي للإجراءات البشرية

بالنظر إلى القدرة التمييزية على مستوى المثيل، تم تكييف أساليب التعلم المتناقض، بما في ذلك MoCo وSimCLR، من المهمة الأصلية لتعلم تمثيل الصور لحل مهمة التعرف على الحركات القائمة على الهيكل العظمي بدون تسمية مسبقة. وعادةً ما تستخدم هذه الأساليب تدفقات بيانات متعددة (أي: المفاصل، الحركة، والعظام) للتعلم المجمّع، ومع ذلك، لا يزال يُعدّ بناء فضاء مميز للسمات داخل تدفق واحد ودمج المعلومات من تدفقات متعددة بشكل فعّال مشكلة مفتوحة. ولحل هذه المشكلة، تقدم هذه الورقة تطبيقًا جديدًا لطريقة تعلم متناقض تُدعى BYOL لتعلم البيانات الهيكلية العظمية، ثم تُصاغ SkeletonBYOL كأساس بسيط لكنه فعّال لحل التعرف على الحركات القائمة على الهيكل العظمي بدون تسمية مسبقة. مستوحاة من SkeletonBYOL، تقدّم هذه الورقة أيضًا إطار عمل يُسمى CMCS (الإطار المتقاطع بين النموذج والتدفق). ويجمع هذا الإطار بين التعلم المتناقض بين النماذج (CMAL) والتعلم التعاوني بين التدفقات (CSCL). وتحديدًا، يتعلم CMAL تمثيل التدفق الواحد من خلال خسارة متناقضة بين النماذج لاستخلاص سمات أكثر تمييزًا. ولدمج وتفاعل المعلومات من تدفقات متعددة، تم تصميم CSCL من خلال إنشاء تسمية افتراضية للمشابهة للتعلم المجمّع كمصدر توجيه، وتوجيه إنشاء السمات لكل تدفق فردي. وقد أثبتت التجارب الواسعة على ثلاث مجموعات بيانات الخصائص التكميلية بين CMAL وCSCL، كما أظهرت أن الطريقة المقترحة تحقق أداءً أفضل من الطرق الرائدة في مجالها باستخدام مختلف بروتوكولات التقييم.