المساعد المفاهيمي العصبي-الرمزي: تفسير المشاهد والكلمات والجمل من الإشراف الطبيعي

نقترح نموذج Neuro-Symbolic Concept Learner (NS-CL)، وهو نموذج يتعلم المفاهيم البصرية، الكلمات، وتحليل الجملة الدلالي دون إشراف صريح على أي منها؛ بدلاً من ذلك، يتعلم النموذج ببساطة من خلال النظر إلى الصور وقراءة الأسئلة والأجوبة المرتبطة بها. يقوم النموذج ببناء تمثيل مشهد قائم على الكائنات ويترجم الجمل إلى برامج رمزية قابلة للتنفيذ. لربط تعلم الوحدتين، نستخدم وحدة الاستدلال العصبي-الرمزية التي تنفذ هذه البرامج على التمثيل الخفي للمشهد. وبشكل مماثل لتعلم المفاهيم لدى البشر، تتعلم وحدة الإدراك المفاهيم البصرية بناءً على الوصف اللغوي للكائن الذي يتم الإشارة إليه. في الوقت نفسه، تسهل المفاهيم البصرية التي تم تعلمها تعلم كلمات جديدة وتوضيح جمل جديدة. نستخدم التعلم التدريجي لتسهيل البحث في الفضاء الكبير والمركب للصور واللغة. تظهر التجارب الشاملة دقة وكفاءة نموذجنا في تعلم المفاهيم البصرية، تمثيلات الكلمات، وتحليل الجمل الدلالي. بالإضافة إلى ذلك، يسمح أسلوبنا بالتوسع السهل إلى خصائص كائنات جديدة، تركيبات جديدة، مفاهيم لغوية جديدة، مشاهد وأسئلة جديدة، وحتى مجالات برامج جديدة. كما أنه يمكّن التطبيقات مثل الإجابة على الأسئلة البصرية واسترجاع الصور والنصوص بشكل ثنائي الاتجاه.