HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 9 jours

UI2Code$^ ext{N}$ : un Modèle de Langage Visuel pour la Génération Interactive de Code à Partir d'Interfaces Utilisateur Évolutif en Temps de Test

Zhen Yang Wenyi Hong Mingde Xu Xinyue Fan Weihan Wang Jiele Cheng Xiaotao Gu Jie Tang

UI2Code$^   ext{N}$ : un Modèle de Langage Visuel pour la Génération Interactive de Code à Partir d'Interfaces Utilisateur Évolutif en Temps de Test

Résumé

La programmation de l’interface utilisateur (UI) constitue une composante fondamentale, mais extrêmement complexe, du développement logiciel moderne. Les avancées récentes des modèles linguistiques visuels (VLM) mettent en évidence le potentiel de la génération automatique de code UI, mais les approches actuelles sont confrontées à deux limitations majeures : les capacités de codage multimodal restent insuffisamment développées, et les paradigmes à une seule interaction ne tirent pas pleinement parti du retour visuel itératif. Nous relevons ces défis grâce à un paradigme interactif de conversion UI vers code, qui reflète mieux les flux de travail réels et permet d’atteindre un niveau supérieur de performance. Dans ce cadre, nous présentons UI2CodeextN^ ext{N}extN, un modèle linguistique visuel entraîné par une procédure en plusieurs étapes comprenant un pré-entraînement progressif, un fine-tuning et un apprentissage par renforcement, permettant des améliorations fondamentales dans le codage multimodal. Ce modèle intègre trois capacités clés : la génération de code à partir d’interfaces utilisateur, l’édition d’interfaces et le polissage visuel. Nous explorons également l’échelle au moment du test pour la génération interactive, permettant une utilisation systématique des retours itératifs multi-tours. Des expériences menées sur des benchmarks de génération UI vers code et de polissage UI montrent que UI2CodeextN^ ext{N}extN établit une nouvelle référence parmi les modèles open-source et atteint une performance comparable aux meilleurs modèles propriétaires tels que Claude-4-Sonnet et GPT-5. Le code source et les modèles sont disponibles à l’adresse suivante : https://github.com/zai-org/UI2Code_N.

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
UI2Code$^ ext{N}$ : un Modèle de Langage Visuel pour la Génération Interactive de Code à Partir d'Interfaces Utilisateur Évolutif en Temps de Test | Articles de recherche | HyperAI