HyperAIHyperAI

Command Palette

Search for a command to run...

إعادة هندسة استرجاع الوصفات متعددة الوسائط باستخدام المحولات الهرمية والتعلم التلقائي التحفيزي

Amaia Salvador Erhan Gundogdu Loris Bazzani Michael Donoser

الملخص

حصلت إعادة استرجاع الوصفات عبر الوسائط المختلفة مؤخرًا على اهتمام كبير نظرًا لأهمية الطعام في حياة الناس، فضلًا عن توفر كم هائل من الوصفات الطهي الرقمية والصور الغذائية التي يمكن استخدامها لتدريب نماذج التعلم الآلي. في هذا العمل، نعيد النظر في النماذج الحالية لإعادة الاسترجاع عبر الوسائط المختلفة للوصفات، ونقترح نموذجًا مبسطًا يعتمد على التحويلات النهائية (end-to-end) مبنيًا على مشفرات مثبتة وفعّالة للغاية للنصوص والصور. نُقدّم نموذج "Transformer وصفات هرمي" يقوم بتشفير مكونات الوصفة الفردية (العناوين، المكونات، والتعليمات) باستخدام آلية انتباه ذكية. علاوةً على ذلك، نقترح دالة خسارة ذاتية التدريب (self-supervised loss function) تُحسب على أزواج من المكونات الفردية للوصفات، وهي قادرة على استغلال العلاقات الدلالية داخل الوصفات، وتمكّن التدريب باستخدام عينات مكونة من صور ووصفات، وكذلك عينات وصفات فقط. قمنا بتحليل شامل ودراسات إزالة (ablation studies) لتأكيد صحة خيارات التصميم المتبعة. وفي النتيجة، حقق النهج المقترح أداءً متفوقًا على مستوى الحد الأقصى (state-of-the-art) في مهمة إعادة الاسترجاع عبر الوسائط المختلفة للوصفات على مجموعة بيانات Recipe1M. ونُعلن عن إتاحة الكود والنماذج للجمهور بشكل عام.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp