MIT团队开发出能与人类协同创作的AI素描助手,共创概念草图
麻省理工学院(MIT)的研究团队开发了一种名为SketchAgent的人工智能绘画代理,该技术能够模拟人类的素描过程,并实现与人类用户的协同创作。通过用户定义的文本概念,系统生成相应的草图。用户可以通过添加一笔一画的方式与SketchAgent共同完善图像,直到双方满意。 研究团队为了验证SketchAgent的表现,设计了一种基于Web的协作式绘画环境,让用户可以实时分享和调整画面。在实验中,研究人员发现,AI绘制的笔触对于最终图像的质量有着至关重要的影响。例如,删除代表椅子的人工绘制笔触后,整个船只图案就难以辨认。这一现象说明了AI和人类合作时,每一步笔触都要经过仔细考虑,才能实现最好的效果。通过与用户协作,SketchAgent不仅能生成机器画作,还能创建更加符合人类思维方式的多样化草图,如人像、昆虫、DNA双螺旋、流程图,甚至抽象的剧场场景等。 在未来,SketchAgent可能被发展为一款互动艺术游戏,不仅能辅助教师和研究人员解析复杂的概念,也能帮助用户提高绘画技巧。此外,该工具还有望成为新型的人机协作界面,让用户通过简单的绘画呈现基础概念。 然而,尽管SketchAgent展现出强大的潜力,目前仍无法完成专业的素描作品。它只能用简单的线条描述基本概念,但对于标签、原子、特殊物体形状等细节的处理能力有限。在合作过程中,模型有时会误解某些部分。例如,有一次画出了双头娃娃。研究团队认为,这种误差可能来源于其“思维链”推理机制:当模型将复杂的绘图任务分解为多个步骤时,可能会误解人类对某些局部草图的操作意图。通过扩展模型合成的数据,研究人员有望优化这些绘画技能。 SketchAgent的核心优势在于其能逐歩与人类用户合作,逐步以人类思维的形式绘制多元化的概念图像,最终实现更加和谐的设计意图。这项成果展示了AI在视觉理解和创造上的潜力,同时也表明随着模型处理多模态数据能力的提升,用户将获得更加直观和人性化的表达方式。这对于AI的易用性和适应性都是一大进步。 合作者Tamar Rott Shaham指出:“这个结果表明,处理视觉信息的方式与大多数模型不同。”她补充说,SketchAgent未来有可能演变为一个更为高级的人机互动平台,进一步提高用户的表达能力和AI的设计水平。