إشارات لي: ترميز الإشارات التمييزية للاعتراف بالأنشطة متعددة الوسائط

نقدم طريقة بسيطة ومع ذلك فعّالة ومُرنة لتمييز الأنشطة تدعم أنواعًا متعددة من أجهزة الاستشعار. يتم ترميز سلاسل الإشارات المتعددة المتغيرات في صورة، ثم تصنيفها باستخدام هيكلية الشبكة العصبية التلافيفية (CNN) المُقترح حديثًا والمُسمى EfficientNet. كان تركيزنا على إيجاد نهج يعمم بشكل جيد عبر أنواع مختلفة من أجهزة الاستشعار دون الحاجة إلى تعديلات محددة، مع الحفاظ على تحقيق نتائج جيدة. نطبق طرقنا على 4 قواعد بيانات لتمييز الأنشطة تحتوي على سلاسل الهياكل، وقياسات الحركة والتسارع، بالإضافة إلى بصمات الـ Wi-Fi التي تصل إلى 120 فئة نشاط. تعريف طريقتنا للنهج الحالي الأفضل القائم على الشبكات العصبية التلافيفية (CNN) في مجموعة بيانات NTU RGB+D 120، وترفع مستوى التقنية الحديثة في مجموعة بيانات ARIL Wi-Fi بنسبة +6.78٪، وتُحسّن الخط الأساسي للحركة والتسارع في UTD-MHAD بنسبة +14.4٪، والخط الأساسي للهياكل في UTD-MHAD بنسبة 1.13٪، وتحقيق نسبة دقة تبلغ 96.11٪ على بيانات التقاط الحركة في Simitate (تقسيم 80/20). كما نقوم بعرض تجارب حول دمج أنواع الاستشعار على مستوى الإشارة وتخفيض الإشارة لمنع التمثيل من الانهمار الزائد.