الذاكرة التدرجية للحالة طويلة المدى والقصيرة المدى للاعتراف بالتفاعلات البشرية

في هذا البحث، نهدف إلى معالجة مشكلة التعرف على التفاعلات البشرية في مقاطع الفيديو من خلال استكشاف الديناميكيات طويلة المدى بين عدة أشخاص. مؤخرًا، أصبحت ذاكرة طويل القصر (LSTM) الخيار الشائع لنمذجة الديناميكية الفردية في التعرف على حركات الشخص الواحد بسبب قدرتها على التقاط المعلومات الحركية الزمنية ضمن نطاق معين. ومع ذلك، تركز النماذج الحالية للشبكات العصبية المتكررة (RNN) فقط على التقاط ديناميكيات التفاعل البشري من خلال الجمع البسيط لكل الديناميكيات الفردية أو نمذجتها كوحدة واحدة. تتجاهل هذه النماذج الديناميكيات المرتبطة بكيفية تغير التفاعلات البشرية بمرور الوقت. بهدف حل هذه المشكلة، نقترح نموذجًا جديدًا يُسمى ذاكرة طويل القصر الهرمية المتزامنة (H-LSTCM) لنمذجة الديناميكيات طويلة المدى المرتبطة بين مجموعة من الأشخاص للتعرف على التفاعلات البشرية. بشكل خاص، نقوم أولًا بإدخال الخصائص الثابتة لكل شخص في وحدة LSTM فردية لتعلم الديناميكية الفردية. ثم يتم إدخال مخرجات جميع وحدات LSTM الفردية في وحدة LSTM متزامنة جديدة (Co-LSTM)، والتي تتكون أساسًا من عدة وحدات ذاكرة فرعية، بوابة خلية جديدة، وخليعة ذاكرة مشتركة جديدة. داخل وحدة Co-LSTM، تقوم كل وحدة ذاكرة فرعية بتخزين المعلومات الحركية الفردية، بينما تقوم هذه الوحدة Co-LSTM بدمج واختيار تخزين المعلومات الحركية المرتبطة بين عدة أشخاص تتفاعل مع بعضها البعض من عدة وحدات ذاكرة فرعية عبر بوابة الخلية وخليعة الذاكرة المشتركة على التوالي. تم إجراء تجارب موسعة على أربعة قواعد بيانات عامة لتثبيت فعالية النموذج المقترح H-LSTCM من خلال المقارنة مع الأساليب الأساسية وأحدث الأساليب المتقدمة.