التعلم التبايني فكّ وضغط الزمان والمكان للاعتراف بالحركات شبه المراقب باستخدام الهيكل العظمي

تم استخدام التعلم المقارن بنجاح لتعلم تمثيلات الأفعال لحل مشكلة التعرف على الأفعال المستند إلى الهيكل العظمي في الإشراف شبه الكامل. ومع ذلك، فإن معظم الطرق القائمة على التعلم المقارن تقارن فقط الخصائص العالمية التي تخلط بين المعلومات الزمانية والمكانية، مما يسبب الالتباس بين المعلومات المكانية والزمانية الخاصة التي تعكس معاني مختلفة على مستوى الإطار ومستوى المفصل. لذلك، نقترح إطارًا جديدًا للتعلم المقارن فصل-وضغط الزماني-المكاني (SDS-CL) لتعلم تمثيلات أكثر غنى للأفعال المستندة إلى الهيكل العظمي من خلال مقارنة الخصائص المكانية الضاغطة والخصائص الزمانية الضاغطة والخصائص العالمية بشكل مشترك.في إطار SDS-ML، صممنا آلية انتباه داخلية-خارجية فصل-زماني-مكاني جديدة (SIIA) للحصول على خصائص انتباه فصل-زماني-مكاني من خلال حساب خرائط الانتباه الداخلية الفصل-زماني-مكاني بين خصائص المفصل/الحركة، بالإضافة إلى خرائط الانتباه الخارجية الفصل-زماني-مكاني بين خصائص المفصل وخصائص الحركة. علاوة على ذلك، قدمنا دالة خسارة ضغط مكانية ومراقبة زمانية جديدة (STL)، ودالة خسارة ضغط زماني ومراقبة مكانية جديدة (TSL)، ودالة الخسارة العالمية للمراقبة (GL) لمقارنة الخصائص المكانية الضاغطة لمفصل الحركة على مستوى الإطار، والخصائص الزمانية الضاغطة لمفصل الحركة على مستوى المفصل، وكذلك الخصائص العالمية لمفصل الحركة على مستوى الهيكل العظمي.نتائج التجارب الواسعة على أربعة قواعد بيانات عامة تظهر أن الطريقة المقترحة SDS-CL تحقق مكاسب في الأداء مقارنة بالطرق التنافسية الأخرى.