الذاكرة القصيرة والطويلة المدى مع الوعي بالتوازي للاعتراف بالأفعال بين الأشخاص

في الآونة الأخيرة، أصبحت ذاكرة طويلة المدى قصيرة المدى (LSTM) خيارًا شائعًا لنمذجة الديناميكيات الفردية في التعرف على حركات الشخص الواحد بفضل قدرتها على نمذجة المعلومات الزمنية في سياقات ديناميكية متنوعة. ومع ذلك، فإن النماذج الحالية للشبكات العصبية المتكررة (RNN) تركز فقط على التقاط الديناميكيات الزمنية للتفاعلات بين الأشخاص من خلال الجمع البسيط بين ديناميكيات الأنشطة الفردية أو نمذجتها ككل. هذا يتجاهل الديناميكيات المرتبطة بكيفية تغير التفاعلات بين الأشخاص مع مرور الوقت. بهدف معالجة هذه المسألة، نقترح نموذجًا جديدًا يُسمى "ذاكرة طويلة المدى قصيرة المدى واعية بالتوافق" (Co-LSTSM) لنمذجة الديناميكيات المرتبطة طويل الأمد بين شخصين متفاعلَين باستخدام الصناديق الحدودية التي تغطي الأشخاص. وبشكل محدد، لكل إطار زمني، تحتفظ وحدتان فرعيتان للذاكرة بمعلومات الحركة الفردية، بينما تقوم وحدة LSTM توافقيّة بدمج واختيار تخزين المعلومات الحركية المرتبطة بين الشخصين المتفاعلَين من هاتين الوحدتين الفرعيتين عبر خلية ذاكرة جديدة مشتركة (co-memory cell). أظهرت النتائج التجريبية على مجموعتي البيانات BIT و UT تفوق Co-LSTSM مقارنة بالطرق الرائدة حاليًا.