الاستدلال الاستعاري يُعد أساسياً في التفكير البشري، ويلعب دوراً مهماً في مجالات متنوعة. ومع ذلك، ركزت الدراسات السابقة بشكل رئيسي على الاستدلال الاستعاري أحادي الوسيلة، وتجاهلت الاستفادة من المعرفة الهيكلية. وبشكل ملحوظ، أظهرت الدراسات في علم النفس المعرفي أن المعلومات المستمدة من مصادر متعددة الوسائط تُحدث نقلًا معرفيًا أقوى من المصادر أحادية الوسيلة. ولتحقيق هذا الهدف، نُقدّم مهمة جديدة تتعلق بالاستدلال الاستعاري متعدد الوسائط على الرسوم المعرفية، والتي تتطلب قدرة على التفكير متعدد الوسائط بمساعدة المعرفة الخلفية. وبشكل محدد، قمنا ببناء مجموعة بيانات للاستدلال الاستعاري متعدد الوسائط (MARS) ورسم معرفي متعدد الوسائط (MarKG). وقمنا بتقييم الأداء باستخدام نماذج تمثيل الرسوم المعرفية متعددة الوسائط والأسس المُدرّبة مسبقًا من نوع Transformer، مما يُظهر التحديات المحتملة التي تواجهها المهمة المقترحة. كما قمنا بتطوير إطار جديد يعتمد على نموذج غير مُخصص (model-agnostic) للتفكير الاستعاري متعدد الوسائط باستخدام Transformer (MarT)، مستوحى من نظرية التمثيل الهيكلي، والذي يُظهر أداءً أفضل. يُمكن الوصول إلى الكود وبيانات المهمة من خلال الرابط التالي: https://github.com/zjunlp/MKG_Analogy.