الإجابة على الأسئلة البصرية باستخدام المعرفة الخارجية (OK-VQA) تتطلب من الوكيل فهم الصورة، واستخدام المعرفة ذات الصلة من الإنترنت كاملاً، ثم معالجة جميع المعلومات لتقديم إجابة على السؤال. وقد عالجت معظم الدراسات السابقة هذه المشكلة من خلال دمج الصورة والسؤال أولاً في الفضاء متعدد الوسائط، وهو نهج غير مرن عند محاولة دمج مزيد من المعرفة الخارجية الواسعة النطاق. في هذه الورقة، ندعو إلى نموذج بديل لمهام OK-VQA، يتمثل في تحويل الصورة إلى نص عادي، بحيث يمكننا تمكين استرجاع فقرات المعرفة، وإجراء الإجابة التوليدية في الفضاء اللغوي الطبيعي. ويستفيد هذا النموذج من الحجم الهائل للقواعد المعرفية الضخمة وغنى النماذج اللغوية المُدرَّبة مسبقًا. وتم اقتراح إطار عمل يُسمى "Transform-Retrieve-Generate" (TRiG)، الذي يمكن دمجه بسهولة مع نماذج مختلفة لتحويل الصور إلى نص، ومع قواعد معرفية نصية مختلفة. وأظهرت النتائج التجريبية أن إطار العمل TRiG يتفوق على جميع الطرق المتطورة المدعومة تدريبًا بفارق مطلق لا يقل عن 11.1%.