HyperAIHyperAI
منذ 2 أشهر

PaLI-X: حول توسيع نموذج متعدد اللغات للرؤية واللغة

Chen, Xi ; Djolonga, Josip ; Padlewski, Piotr ; Mustafa, Basil ; Changpinyo, Soravit ; Wu, Jialin ; Ruiz, Carlos Riquelme ; Goodman, Sebastian ; Wang, Xiao ; Tay, Yi ; Shakeri, Siamak ; Dehghani, Mostafa ; Salz, Daniel ; Lucic, Mario ; Tschannen, Michael ; Nagrani, Arsha ; Hu, Hexiang ; Joshi, Mandar ; Pang, Bo ; Montgomery, Ceslee ; Pietrzyk, Paulina ; Ritter, Marvin ; Piergiovanni, AJ ; Minderer, Matthias ; Pavetic, Filip ; Waters, Austin ; Li, Gang ; Alabdulmohsin, Ibrahim ; Beyer, Lucas ; Amelot, Julien ; Lee, Kenton ; Steiner, Andreas Peter ; Li, Yang ; Keysers, Daniel ; Arnab, Anurag ; Xu, Yuanzhong ; Rong, Keran ; Kolesnikov, Alexander ; Seyedhosseini, Mojtaba ; Angelova, Anelia ; Zhai, Xiaohua ; Houlsby, Neil ; Soricut, Radu
PaLI-X: حول توسيع نموذج متعدد اللغات للرؤية واللغة
الملخص

نقدم وصفة التدريب والنتائج الخاصة بتوسيع نطاق PaLI-X، وهو نموذج متعدد اللغات للرؤية واللغة، سواء من حيث حجم المكونات أو مدى تنوع مهام التدريب. يحقق نموذجنا مستويات أداء جديدة في مجموعة واسعة ومتنوعة من المهام المعقدة، بما في ذلك مهام التعليق على الصور وطرح الأسئلة بناءً على الصور، فهم الوثائق المرتبطة بالصور والتعلم القليل الإرشادي (في السياق)، بالإضافة إلى الكشف عن الأشياء، طرح الأسئلة على مقاطع الفيديو وتعليق مقاطع الفيديو. يعتبر PaLI-X تقدماً في معظم المقاييس المرتبطة بالرؤية واللغة التي تم دراستها (أكثر من 25 مقاييس). وأخيراً، لاحظنا ظهور قدرات جديدة مثل العد المعقد وكشف الأشياء بمتعددة اللغات، وهي مهام لم يتم تضمينها بشكل صريح في خليط التدريب.

PaLI-X: حول توسيع نموذج متعدد اللغات للرؤية واللغة | أحدث الأوراق البحثية | HyperAI