Shijian Deng Kai Wang Tianyu Yang Harsh Singh Yapeng Tian

摘要

近年来，大型语言模型（LLMs）的自我改进技术取得了显著进展，能够在不显著增加成本（尤其是人力成本）的前提下，有效提升模型能力。尽管该领域仍处于发展初期，但将其拓展至多模态领域，有望充分利用多样化数据源，推动更通用的自我改进模型的发展。本文是首篇系统综述多模态大语言模型（MLLMs）自我改进研究的文献。我们从三个维度对当前研究进行了结构化梳理：1）数据收集，2）数据组织，以及3）模型优化，旨在促进MLLMs自我改进技术的进一步发展。此外，本文还涵盖了常用的评估方法与下游应用。最后，我们总结了当前面临的开放性挑战，并展望了未来的研究方向。