MIT Developpe un Agent IA pour la Création de Dessins : Collaboration Homme-Machine et Interactivité Inédite

Une équipe de chercheurs du MIT a développé SketchAgent, un agent d'intelligence artificielle capable de dessiner des esquisses similaires à celles produites par un être humain. Les tests effectués par l'équipe ont montré que SketchAgent peut collaborer avec les humains pour créer des œuvres artistiques, tout en étant capable de dessiner indépendamment. Le système a été mis à l'épreuve dans un environnement de création de croquis en ligne, où les utilisateurs pouvaient interagir avec SketchAgent pour produire ensemble des croquis basés sur une description textuelle commune. Les utilisateurs ont participé à deux modes de création : le mode individuel, où chacun dessinait seul, et le mode collaboratif, où l'utilisateur et SketchAgent travailleuraient ensemble en ajoutant successivement des éléments, jusqu'à ce qu'ils soient satisfaits du résultat final. Pour faciliter l'interaction, le système utilise des couleurs différentes à chaque étape : le vert représente les détails ajoutés par l'utilisateur, le rouge ceux ajoutés par SketchAgent. De plus, les utilisateurs peuvent modifier les croquis générés par SketchAgent en conversant avec lui, ce qui ajoute une dimension interactive à la création artistique. Au cours des tests, SketchAgent a créé des croquis divers allant de portraits d'êtres humains, de créatures fantastiques, de structures moléculaires et de diagrammes de flux, jusqu'à des dessins inspirés par des scènes de cinéma. Ces résultats mettent en lumière la capacité de SketchAgent à produire des œuvres riches et variées, surpassant même certains modèles d'IA existants comme Claude 3.5 Sonnet, qui génère des figures graphiques pouvant être converties en images nettes (fichiers texte détaillés), en termes de réalisme et de pertinence. Tamar Rott Shaham, co-auteure de l'étude, a indiqué que ces résultats démontrent l'apprentissage progressif de SketchAgent, qui améliore sa compréhension visuelle à mesure qu'il interagit. « Avec le temps, la capacité de SketchAgent à interpréter et à réaliser des croquis complexes et multidimensionnels se rapproche davantage de celle d'un humain, » explique-t-elle. Cette progression vers une interaction plus naturelle pourrait grandement faciliter la collaboration entre utilisateurs humains et IA. Bien que SketchAgent présente un potentiel considérable pour la production de croquis simples basés sur des concepts fondamentaux, il rencontre encore des limites lors de la création de dessins plus détaillés, tels que des personnages avec des signes distinctifs, des paragraphes de textes, des symboles spécialisés ou des silhouettes précises d'objets. Ces difficultés pourraient résulter de son mécanisme de "chaîne de pensée", qui décompose les tâches de dessin en plusieurs étapes, parfois mal interprétées par le modèle lors de la reproduction des parties spécifiques d'un croquis. Malgré ces limitations, la recherche souligne l'importance de développer des outils d'IA qui facilitent la collaboration humain-machine. L'équipe du MIT vise à optimiser ces interactions futures, en simplifiant et en améliorant le processus de dessin collaboratif avec plusieurs modèles linguistiques. Cette approche pourrait permettre à l'IA de mieux comprendre les styles de pensée humaine pour dessiner des concepts plus variés et complexes, conduisant ainsi à des œuvres plus harmonieuses et conformes aux attentes du designer humain. Pour plus d'informations, vous pouvez consulter les ressources suivantes : 1. https://yael-vinker.github.io/sketch-agent/ 2. https://news.mit.edu/2025/teaching-ai-models-to-sketch-more-like-humans-0602