توليد الوجه المتحدث المُعزّز عاطفيًا

طورت عدة دراسات خطوط عمل متكاملة من البداية إلى النهاية لإنشاء وجوه تتحدث متناسقة مع حركات الشفاه، بتطبيقات واقعية متنوعة مثل التدريس والترجمة اللغوية في الفيديوهات. ومع ذلك، فإن هذه الدراسات السابقة لم تتمكن من إنتاج مقاطع فيديو واقعية من حيث المظهر، نظرًا لقلة اهتمامها بتعابير الوجه والعواطف. علاوة على ذلك، تعتمد فعالية هذه الطرق بشكل كبير على الوجوه الموجودة في مجموعة التدريب، مما يعني أنها قد لا تؤدي بأداء جيد على وجوه غير مرئية مسبقًا. وللتقليل من هذه المشكلة، قمنا ببناء إطار عمل لإنشاء وجوه تتحدث مشروطة بفئة عاطفية معينة، بهدف إنتاج مقاطع فيديو تتميز بتعابير مناسبة، مما يجعلها أكثر واقعية وإقناعًا. وباستخدام مجموعة واسعة من ست عواطف، وهي: \emph{الفرح}، \emph{الحزن}، \emph{الخوف}، \emph{الغضب}، \emph{الاستياء}، و\emph{المحايدة}، نُظهر أن نموذجنا يمكنه التكيف مع أي هوية، وأي عاطفة، وأي لغة. ويتميز الإطار المُقترح بواجهة ويب سهلة الاستخدام تتيح تجربة حية (Real-time) لإنشاء وجوه تتحدث بمشاعر مُعبّرة. كما أجرينا دراسة مستخدمين لتقييم موضوعي لسهولة استخدام الواجهة، وتصميمها، ووظائفها. صفحة المشروع: https://midas.iiitd.edu.in/emo/