Yuhao Zhang Yuhao Du Zhanchen Dai Xiangnan Ma Kaiqi Kou Benyou Wang Haizhou Li

Abstract

Sprach-zu-Sprache- große Sprachmodelle (SLLM) erregen zunehmend Aufmerksamkeit. Aufbauend auf textbasierten großen Sprachmodellen (LLM) weisen SLLM häufig eine Verschlechterung in Wissens- und Schlussfolgerungsfähigkeiten auf. Wir vermuten, dass dieser Limitierung zugrunde liegt, dass die derzeitigen Trainingsparadigmen für SLLM die akustisch-semantische Lücke im Merkmalsrepräsentationsraum nicht überbrücken. Um dieses Problem zu lösen, schlagen wir EchoX vor, das semantische Repräsentationen nutzt und dynamisch Sprachtrainingsziele generiert. Dieser Ansatz integriert sowohl akustisches als auch semantisches Lernen und ermöglicht es EchoX, starke Schlussfolgerungsfähigkeiten als Sprachmodell zu bewahren. Experimentelle Ergebnisse zeigen, dass EchoX mit etwa sechstausend Stunden Trainingsdaten eine herausragende Leistung auf mehreren wissensbasierten Frage-Antwort-Benchmarks erzielt. Das Projekt ist unter https://github.com/FreedomIntelligence/EchoX verfügbar.