Shijian Deng Kai Wang Tianyu Yang Harsh Singh Yapeng Tian

Abstract

Neuere Fortschritte im Bereich der Selbstverbesserung von großen Sprachmodellen (Large Language Models, LLMs) haben die Modellleistung effizient gesteigert, ohne die Kosten – insbesondere im Hinblick auf menschliche Aufwände – signifikant zu erhöhen. Obwohl dieser Forschungsbereich noch relativ jung ist, birgt seine Ausweitung auf den multimodalen Bereich ein großes Potenzial, um vielfältige Datenquellen zu erschließen und allgemeinere, sich selbst verbessernende Modelle zu entwickeln. Diese Übersichtsarbeit ist die erste, die eine umfassende Darstellung der Selbstverbesserung in multimodalen großen Sprachmodellen (Multimodal Large Language Models, MLLMs) bietet. Wir präsentieren eine strukturierte Übersicht über die aktuelle Literatur und analysieren Methoden aus drei Perspektiven: 1) Datensammlung, 2) Datenorganisation und 3) Modelloptimierung, um die weitere Entwicklung der Selbstverbesserung in MLLMs zu fördern. Zudem werden häufig verwendete Evaluierungsmethoden und Anwendungsfälle im nachgeschalteten Bereich (downstream applications) diskutiert. Abschließend werden offene Herausforderungen und zukünftige Forschungsrichtungen aufgezeigt.