تناول التفاصيل: شبكات خبراء تُرشد بواسطة LLM لتمييز الأطعمة بدقة عالية

في مجال تمييز الأطعمة بدقة عالية، تقدم الطرق القائمة على التعلم الجزئي نهجًا استراتيجيًا يُجمّع الفئات إلى مجموعات فرعية لتوجيه عملية التدريب. يقدّم بحثنا منهجًا جديدًا يُسمّى "تناول التفاصيل" (Dining on Details أو DoD)، وهو إطار تعلّم خبراء مبتكر لتصنيف الأطعمة. يستخدم هذا المنهج بذكاء قوة النماذج اللغوية الكبيرة لبناء مجموعات فرعية من الفئات ضمن مجموعة البيانات. وتُعزز فعالية "تناول التفاصيل" من قوة فضاء التضمين متعدد الوسائط ImageBind، الذي يمكنه تحديد تشابهات ذات معنى بين فئات متنوعة. وتم تدريب هذا المنهج عبر عملية تعلّم متعددة المهام من الطرف إلى الطرف (end-to-end)، مما يُحسّن الأداء في مهام تمييز الأطعمة بدقة عالية، ويُظهر أداءً استثنائيًا في الفئات ذات الشبه الكبير. وتميّز DoD بملاءمته الشاملة، حيث يمكن تطبيقه بسلاسة على أي بنية تصنيف موجودة. وقد أظهرت مراجعتنا الشاملة لهذا المنهج على مجموعة متنوعة من مجموعات بيانات الطعام، وباستخدام مختلف البنية الأساسية (سواء كانت قائمّة على التحويلات التلافيفية أو نماذج الترانسفورمر)، نتائج تنافسية مع تحسينات أداء ملحوظة تتراوح بين 0.5% إلى 1.61%. وبشكل ملحوظ، حقق DoD أفضل النتائج المُحققة حتى الآن على مجموعة بيانات Food-101.