الاسترجاع عبر الأنظمة الحسية في سياق الطهي: تعلم التضمينات النصية-الصورية الدلالية

تصميم أدوات قوية تدعم الأنشطة الطهي قد اكتسب شعبية كبيرة مؤخرًا بفضل الكميات الهائلة من البيانات المتاحة، بالإضافة إلى التقدم الحديث في تعلم الآلة الذي يمكنه تحليل هذه البيانات. في هذا البحث، نقترح نموذج استرجاع متعدد الوسائط يربط بين البيانات البصرية والنصية (مثل صور الأطباق ووصفاتهم) في فضاء تمثيلي مشترك. نصف مخطط تعلم فعال قادر على التعامل مع المشكلات على نطاق واسع، ونتحقق منه باستخدام مجموعة بيانات Recipe1M التي تحتوي على حوالي مليون زوج من الصور والوصفات. نظهر فعالية نهجنا مقارنة بالنموذج السابق الأكثر تقدمًا ونقدم نتائج نوعية حول حالات استخدام الحوسبة في الطهي.