لقد أصبح التعرف على العواطف مجالًا مهمًا للبحث في تفاعلات الإنسان مع الحاسوب مع تحسين تقنيات نمذجة جوانب السلوك المختلفة. بفضل تقدم التقنية، ازداد فهمنا للعواطف، مما أدى إلى زيادة الحاجة إلى أنظمة التعرف على العواطف بشكل آلي. أحد الاتجاهات التي يتجه إليها البحث هو استخدام الشبكات العصبية، والتي تتميز بقدرتها على تقدير الدوال المعقدة التي تعتمد على عدد كبير ومتنوع من مصادر البيانات. في هذا البحث، نحاول استغلال هذه الفعالية للشبكات العصبية لتمكيننا من إجراء التعرف متعدد الوسائط على العواطف باستخدام مجموعة بيانات IEMOCAP (IEMOCAP dataset) وبيانات من الكلام والنص وتقاطع الحركة من تعبيرات الوجه والدوران وحركات اليدين. كان التركيز في الأبحاث السابقة على الكشف عن العواطف من خلال الكلام في مجموعة بيانات IEMOCAP، ولكن نهجنا هو الأول الذي يستخدم العديد من أنماط البيانات التي توفرها IEMOCAP لتحقيق كشف أكثر صلابة ودقة عن العواطف.