منذ 2 أشهر
PaLI-X: حول توسيع نموذج متعدد اللغات للرؤية واللغة
Chen, Xi ; Djolonga, Josip ; Padlewski, Piotr ; Mustafa, Basil ; Changpinyo, Soravit ; Wu, Jialin ; Ruiz, Carlos Riquelme ; Goodman, Sebastian ; Wang, Xiao ; Tay, Yi ; Shakeri, Siamak ; Dehghani, Mostafa ; Salz, Daniel ; Lucic, Mario ; Tschannen, Michael ; Nagrani, Arsha ; Hu, Hexiang ; Joshi, Mandar ; Pang, Bo ; Montgomery, Ceslee ; Pietrzyk, Paulina ; Ritter, Marvin ; Piergiovanni, AJ ; Minderer, Matthias ; Pavetic, Filip ; Waters, Austin ; Li, Gang ; Alabdulmohsin, Ibrahim ; Beyer, Lucas ; Amelot, Julien ; Lee, Kenton ; Steiner, Andreas Peter ; Li, Yang ; Keysers, Daniel ; Arnab, Anurag ; Xu, Yuanzhong ; Rong, Keran ; Kolesnikov, Alexander ; Seyedhosseini, Mojtaba ; Angelova, Anelia ; Zhai, Xiaohua ; Houlsby, Neil ; Soricut, Radu

الملخص
نقدم وصفة التدريب والنتائج الخاصة بتوسيع نطاق PaLI-X، وهو نموذج متعدد اللغات للرؤية واللغة، سواء من حيث حجم المكونات أو مدى تنوع مهام التدريب. يحقق نموذجنا مستويات أداء جديدة في مجموعة واسعة ومتنوعة من المهام المعقدة، بما في ذلك مهام التعليق على الصور وطرح الأسئلة بناءً على الصور، فهم الوثائق المرتبطة بالصور والتعلم القليل الإرشادي (في السياق)، بالإضافة إلى الكشف عن الأشياء، طرح الأسئلة على مقاطع الفيديو وتعليق مقاطع الفيديو. يعتبر PaLI-X تقدماً في معظم المقاييس المرتبطة بالرؤية واللغة التي تم دراستها (أكثر من 25 مقاييس). وأخيراً، لاحظنا ظهور قدرات جديدة مثل العد المعقد وكشف الأشياء بمتعددة اللغات، وهي مهام لم يتم تضمينها بشكل صريح في خليط التدريب.