PaCE: التدريب المسبق الموحد للحوار متعدد الوسائط باستخدام خبراء تقدميين وتركيبيين

فهم المعلومات متعددة الوسائط وإجراء الحوارات مع البشر هو هدف طويل الأمد للذكاء الاصطناعي. يعتبر التدريب المسبق طريقة فعالة بشكل عام للحوار متعدد الوسائط. ومع ذلك، بسبب عدم توفر البيانات الكافية للحوار متعدد الوسائط، لا يزال البحث في مجال التدريب المسبق للحوار متعدد الوسائط محدودًا. كما أن التحدي المثير للاهتمام الآخر ينبع من الطبيعة الشاملة للحوار متعدد الوسائط، الذي يشمل وسائط وأنواع مهام مختلفة. بالإضافة إلى ذلك، قد تظهر أشكال جديدة من المهام في نقاط غير متوقعة في المستقبل. لذلك، من الضروري أن تتمتع النماذج المصممة للحوار متعدد الوسائط بالمرونة الكافية لتكييف نفسها مع هذه السيناريوهات. يقدم هذا البحث إطارًا موحدًا ومُنظَّمًا ومُركَّبًا للتدريب المسبق على الحوار متعدد الوسائط يُسمى \textbf{PaCE}. يستخدم هذا الإطار مزيجًا من عدة خبراء أساسيين لدعم مجموعة متنوعة من المهام المتعلقة بالحوار ويمكن تدريبه باستخدام بيانات حوارية محدودة وبيانات غير حوارية متعددة الوسائط واسعة النطاق. علاوة على ذلك، نقترح طريقة تدريب تدريجي حيث يمكن للأخصائيين القدماء المساعدة في تحسين قدرات الأخصائيين الجدد، مما يسهل توسيع نطاق هذه القدرات. تظهر نتائج التجارب أن \textbf{PaCE} حقق أفضل النتائج على ثماني مقاييس للمعايير الخاصة بالحوار متعدد الوسائط (benchmarks).