من المرجح أن تصبح أنظمة الذكاء الاصطناعي متعددة الوسائط حاضرة بشكل شائع في حياتنا اليومية. ويُعدّ النهج الواعد لجعل هذه الأنظمة أكثر تفاعلية هو تمثيلها كوكالات (Agents) داخل بيئات مادية وافتراضية. في الوقت الحالي، تعتمد الأنظمة الحالية على النماذج الأساسية الموجودة كوحدات بناء أساسية لتكوين هذه الوكالات المُجسمة. ويسهم إدراج هذه الوكالات داخل بيئات متنوعة في تمكين النماذج من معالجة وفهم البيانات البصرية والبيانات السياقية، وهو أمر بالغ الأهمية لتطوير أنظمة ذكاء اصطناعي أكثر تطورًا ووعيًا بالسياق. على سبيل المثال، يمكن استخدام نظام قادر على تمييز تصرفات المستخدم، وسلوك البشر، والأجسام البيئية، والتعبيرات الصوتية، والمشاعر الجماعية للمنظر، لتوجيه استجابات الوكالة ضمن البيئة المعينة. ولتسريع الأبحاث المتعلقة بالذكاء المتعدد الوسائط القائم على الوكالات، نعرّف "ذكاء الوكالة" (Agent AI) على أنه فئة من الأنظمة التفاعلية القادرة على استشعار المحفزات البصرية، والمدخلات اللغوية، والبيانات الأخرى المرتبطة بالبيئة، وإنتاج إجراءات ملموسة ذات معنى. وبشكل خاص، نستكشف أنظمة تسعى إلى تحسين الأداء الوكالي من خلال التنبؤ بالإجراء التالي المُجسم، وذلك عبر دمج المعرفة الخارجية، والمدخلات متعددة الحواس، والتعليقات البشرية. ونؤكد أن تطوير أنظمة الذكاء الوكالي داخل بيئات مُثبتة (مُترابطة بالواقع) يمكن أن يساعد أيضًا في الحد من حالات التخيل (Hallucinations) التي تُظهرها النماذج الأساسية الكبيرة، وكذلك منعها عن إنتاج إجابات غير صحيحة من حيث البيئة. ويضم المجال الناشئ لذكاء الوكالة الجوانب الأوسع المتعلقة بالتجسيد والوكالية في التفاعلات متعددة الوسائط. وبeyond التفاعل والعمل في العالم المادي، نتصور مستقبلًا يمكن فيه للناس بسهولة إنشاء أي مشهد واقع افتراضي أو محاكاة، والتفاعل مع وكالات مُجسمة داخل هذه البيئة الافتراضية.