Baichuan-Omni Technischer Bericht

Die herausragenden multimodalen Fähigkeiten und die interaktive Benutzererfahrung von GPT-4o unterstreichen ihre entscheidende Rolle für praktische Anwendungen, sie verfügt jedoch über kein hochleistungsfähiges, quelloffenes Gegenstück. In diesem Paper stellen wir Baichuan-Omni vor, das erste quelloffene Multimodale Große Sprachmodell (MLLM) mit 7B Parametern, das in der Lage ist, gleichzeitig Bilder, Videos, Audiodaten und Text zu verarbeiten und zu analysieren, während es gleichzeitig eine fortschrittliche multimodale Interaktion und hervorragende Leistung bietet. Wir entwickeln ein effektives multimodales Trainingsverfahren, das mit einem 7B-Modell beginnt und über zwei Phasen verläuft: multimodale Ausrichtung und multitask-optimierte Feinjustierung über die Modalitäten Audio, Bild, Video und Text. Dieser Ansatz verleiht dem Sprachmodell die Fähigkeit, visuelle und auditive Daten effektiv zu verarbeiten. Durch eine starke Leistung in verschiedenen Omni-Modal- und Multimodal-Benchmarks zielen wir darauf ab, diesen Beitrag als konkurrenzfähige Grundlage für die quelloffene Community zu etablieren, um die Entwicklung von multimodalem Verständnis und Echtzeit-Interaktion voranzutreiben.