إلى بناء نماذج أساسية عامة للمهام المتعلقة باللغة والرؤية وفهم الرؤية-اللغة

النماذج الأساسية أو النماذج المُدرَّبة مسبقًا قد عززت بشكل كبير أداء مهام مختلفة في فهم اللغة والرؤية والرؤية-اللغة. ومع ذلك، لا تزال النماذج الأساسية الحالية قادرة على تحقيق أفضل الأداء في نوع واحد فقط من المهام، أي المهام اللغوية أو البصرية أو الرؤية-اللغة. ما إذا كان من الممكن بناء نموذج أساسي يحقق الأداء الأفضل في جميع مهام الفهم ما يزال سؤالًا مفتوحًا، ونُسمّيه في هذا العمل نموذجًا أساسيًا عامًا. في هذه الورقة، نقترح نموذجًا أساسيًا عامًا جديدًا يُدعى X-FM (نموذج الأساس X). يتميز X-FM بمحرك لغوي واحد، ومحرك بصري واحد، ومحرك دمج واحد، بالإضافة إلى طريقة تدريب جديدة. تشمل هذه الطريقة تقنيتين جديدتين لتعلم X-FM من بيانات نصية، وصورية، وبيانات صورة-نص. الأولى هي وقف التدرجات من تدريب الرؤية-اللغة عند تعلم محرك اللغة. والثانية هي الاستفادة من تدريب الرؤية-اللغة لتوجيه تعلم محرك الرؤية. أظهرت التجارب الواسعة على مجموعات بيانات معيارية أن X-FM يمكنه تفوق النماذج الأساسية العامة الحالية بشكل كبير، وأن أداؤه يفوق أو يعادل أداء النماذج الأساسية الحالية المخصصة لمهام فهم اللغة أو الرؤية أو الرؤية-اللغة. تم إصدار الكود والنماذج المُدرَّبة مسبقًا على الرابط: https://github.com/zhangxinsong-nlp/XFM.