Command Palette
Search for a command to run...
توليد الوجه المتحدث المُعزّز عاطفيًا
توليد الوجه المتحدث المُعزّز عاطفيًا
Sahil Goyal Shagun Uppal Sarthak Bhagat Yi Yu Yifang Yin Rajiv Ratn Shah
الملخص
طورت عدة دراسات خطوط عمل متكاملة من البداية إلى النهاية لإنشاء وجوه تتحدث متناسقة مع حركات الشفاه، بتطبيقات واقعية متنوعة مثل التدريس والترجمة اللغوية في الفيديوهات. ومع ذلك، فإن هذه الدراسات السابقة لم تتمكن من إنتاج مقاطع فيديو واقعية من حيث المظهر، نظرًا لقلة اهتمامها بتعابير الوجه والعواطف. علاوة على ذلك، تعتمد فعالية هذه الطرق بشكل كبير على الوجوه الموجودة في مجموعة التدريب، مما يعني أنها قد لا تؤدي بأداء جيد على وجوه غير مرئية مسبقًا. وللتقليل من هذه المشكلة، قمنا ببناء إطار عمل لإنشاء وجوه تتحدث مشروطة بفئة عاطفية معينة، بهدف إنتاج مقاطع فيديو تتميز بتعابير مناسبة، مما يجعلها أكثر واقعية وإقناعًا. وباستخدام مجموعة واسعة من ست عواطف، وهي: \emph{الفرح}، \emph{الحزن}، \emph{الخوف}، \emph{الغضب}، \emph{الاستياء}، و\emph{المحايدة}، نُظهر أن نموذجنا يمكنه التكيف مع أي هوية، وأي عاطفة، وأي لغة. ويتميز الإطار المُقترح بواجهة ويب سهلة الاستخدام تتيح تجربة حية (Real-time) لإنشاء وجوه تتحدث بمشاعر مُعبّرة. كما أجرينا دراسة مستخدمين لتقييم موضوعي لسهولة استخدام الواجهة، وتصميمها، ووظائفها. صفحة المشروع: https://midas.iiitd.edu.in/emo/