فليورنس-2: تقدم تمثيل موحد لعدد من المهام البصرية

نُقدّم "فليورنس-2" (Florence-2)، نموذج أساسية بصرية جديد يتمتع بتمثيل موحد يعتمد على المدخلات النصية (prompt) لعدد من المهام المتعلقة بالرؤية الحاسوبية ورؤية اللغة والصورة. في حين أن النماذج البصرية الكبيرة الحالية تتميز بأداء متميز في التعلم القابل للانتقال، إلا أنها تواجه صعوبات في أداء تنوع كبير من المهام باستخدام تعليمات بسيطة، وهي قدرة تتطلب التعامل مع تعقيدات الهيكل المكاني المتنوع والدقة الدلالية المختلفة. تم تصميم "فليورنس-2" ليتلقى تعليمات المهام على شكل نصوص (prompts) ويُنتج نتائج مرغوبة بصيغة نصية، سواء في مهام وصف الصور (captioning)، أو الكشف عن الكائنات (object detection)، أو التموضع (grounding)، أو التجزئة (segmentation). يتطلب هذا الإطار التعليمي متعدد المهام بيانات مُعلّمة على نطاق واسع وعالية الجودة. ولتحقيق ذلك، طوّرنا معًا مجموعة بيانات تُسمى "FLD-5B"، التي تتضمن 5.4 مليار تسمية بصرية شاملة على 126 مليون صورة، باستخدام استراتيجية تكرارية تجمع بين التسمية التلقائية للصور وتحسين النموذج. وقد اعتمدنا بنية "من تسلسل إلى تسلسل" (sequence-to-sequence) لتدريب "فليورنس-2" على أداء مهام بصرية متنوعة وشاملة. وقد أظهرت التقييمات الواسعة على عدد كبير من المهام أن "فليورنس-2" يُعدّ منافسًا قويًا في مجال النماذج الأساسية للرؤية، ويمتلك قدرات غير مسبوقة في التعلم الصفرية (zero-shot) والتحسين الدقيق (fine-tuning).