SeeDS: مُنشِّط الانتشار القابل للفصل دلالياً لاكتشاف الأطعمة دون تدريب مسبق

اكتشاف الطعام يصبح مهمة أساسية في حسابات الطعام تدعم العديد من التطبيقات المتعددة الوسائط، بما في ذلك توصية الطعام ومراقبة النظام الغذائي. للتعامل مع السيناريوهات الحقيقية، يتطلب اكتشاف الطعام تحديد وتمييز أصناف طعام جديدة لم يتم رؤيتها أثناء التدريب، مما يستدعي استخدام اكتشاف الصور بدون أمثلة سابقة (ZSD). ومع ذلك، فإن تعقيد الخصائص الدلالية وتعدد الميزات داخل الفئات يشكلان تحديًا لطرق ZSD في تمييز فئات الطعام الدقيقة. لحل هذه المشكلة، نقترح إطار العمل Semantic Separable Diffusion Synthesizer (SeeDS) للاكتشاف بدون أمثلة سابقة لأصناف الطعام (ZSFD). يتكون SeeDS من وحدتين: وحدة التركيب الدلالي المنفصل (S$^3$M) ونموذج التفتيت المميز للخصائص الإقليمية (RFDDM). تقوم الوحدة S$^3$M بتعلم التمثيل الدلالي المنفصل للخصائص المعقدة للأطعمة من المكونات والمطابخ، وتقوم بتركيب ميزات الأطعمة المميزة عبر المعلومات الدلالية المعززة. يستخدم النموذج RFDDM نموذج تفتيت جديد لتوليد خصائص إقليمية متنوعة ويحسن ZSFD عبر ميزات مركبة دقيقة. تظهر التجارب الواسعة الأداء الرائد لطريقة ZSFD المقترحة لدينا على قاعدتي بيانات الأطعمة ZSFooD وUECFOOD-256. بالإضافة إلى ذلك، يحافظ SeeDS أيضًا على فعاليته على قواعد البيانات العامة لـ ZSD مثل PASCAL VOC وMS COCO. يمكن العثور على الكود والقاعدة данных في https://github.com/LanceZPF/SeeDS.