HyperAIHyperAI

Command Palette

Search for a command to run...

LLaVA-Chef : Un modèle génératif multi-modal pour les recettes de cuisine

Fnu Mohbat Mohammed J. Zaki

Résumé

Dans le paysage en rapide évolution du partage de recettes en ligne dans un contexte mondialisé, une augmentation notable de la recherche visant à comprendre et générer des recettes culinaires a été observée. Les récents progrès dans les grands modèles linguistiques (LLMs) tels que GPT-2 et LLaVA ont ouvert la voie à des approches de traitement du langage naturel (NLP) pour explorer plus en profondeur divers aspects des tâches liées à l'alimentation, incluant la reconnaissance d'ingrédients et la génération complète de recettes. Malgré leurs performances impressionnantes et leur adaptabilité multi-modale, une formation spécifique au domaine reste essentielle pour leur application efficace. Cette étude évalue les LLMs existants pour la génération de recettes et propose LLaVA-Chef, un nouveau modèle formé sur un ensemble de données soigneusement sélectionné comprenant diverses invitations à créer des recettes, dans une approche en plusieurs étapes. Premièrement, nous affinons le mappage des plongements d'images alimentaires visuelles vers l'espace linguistique. Deuxièmement, nous adaptons LLaVA au domaine culinaire en le fine-tuning sur des données de recettes pertinentes. Troisièmement, nous utilisons des prompts variés pour améliorer la compréhension des recettes par le modèle. Enfin, nous améliorons la qualité linguistique des recettes générées en pénalisant le modèle avec une fonction de perte personnalisée. LLaVA-Chef montre des améliorations remarquables par rapport aux LLMs préformés et aux travaux antérieurs. Une analyse qualitative détaillée révèle que LLaVA-Chef génère des recettes plus détaillées avec des mentions précises d'ingrédients, comparativement aux approches existantes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp