Eine kürzlich durchgeführte Analyse deutet darauf hin, dass bereits ein einziges reales Datenpunkt aus der echten Welt ausreichen könnte, um den drohenden Kollaps von KI-Modellen zu verhindern. Dieser neuartige Ansatz könnte helfen, die zunehmende Zahl an Halluzinationen und fehlerhaften Ergebnissen künstlicher Intelligenz in der Zukunft zu vermeiden. Der Begriff „Modellkollaps" wurde erst 2024 geprägt und beschreibt ein Szenario, in dem ein KI-Modell, das auf Daten trainiert wurde, die zuvor selbst von einer KI generiert wurden, ungenaue Ergebnisse liefert. Statt sinnvoller Antworten produziert das System zunehmend unzusammenhängenden Unsinn, da die Qualität der Trainingsdaten im Laufe der Zeit abnimmt. Experten haben bereits früh gewarnt, dass hochwertige menschliche Textdaten für das Training großer Sprachmodelle (LLMs) möglicherweise schon in diesem Jahr erschöpft sein könnten. Dadurch steigt der Anteil von maschinengenerierten Daten in den Trainingssets, was die Gefahr eines solchen Kollapses verschärft. Ein internationales Forscherteam der King's College London, der Norwegischen Universität für Wissenschaft und Technologie (NTNU) sowie des Abdus Salam International Center for Theoretical Physics hat eine Lösung auf Basis einfacher statistischer Modelle gefunden. Die Studie zeigt, dass die Integration eines einzigen externen Datenpunktes in den Trainingsprozess ausreicht, um diesen Kollaps in allen getesteten Fällen zu verhindern. Die verwendeten Exponential-Familien-Modelle sind zwar deutlich einfacher als die komplexen LLMs, zählen aber zu den mächtigsten Werkzeugen der Datenmodellierung. Die Forscher hoffen, dass die Erkenntnisse aus diesem vereinfachten Setting übertragbare Prinzipien liefern, um den Kollaps auch in komplexeren, weit verbreiteten Modellen zu vermeiden. Professor Yasser Roudi von der King's College London erklärt, dass frühere Untersuchungen sich häufig auf große, unübersichtliche Sprachmodelle konzentrierten, deren Funktionsweise und Reproduzierbarkeit nicht klar waren. Dies führte oft zu unerklärlichen Halluzinationen. Durch den Fokus auf einfache Modelle lassen sich die Ursachen statistisch präzise aufzeigen. Es wird objektiv bewiesen, warum bereits ein einziger externer Datenpunkt verhindert, dass das System „Gibberish" auswirft. Dieses Verständnis ist entscheidend für die Konstruktion zukünftiger KI-Systeme, da größere Modelle zunehmend in lebenswichtige Bereiche wie autonomes Fahren oder Chatbots integriert werden, wobei synthetische Daten einen immer größeren Teil des Trainings ausmachen. Die im Fachjournal Physical Review Letters veröffentlichte Studie erläutert, dass ein standardmäßiges Training in geschlossenen Schleifen, bei dem ein Modell ausschließlich mit seinen eigenen generierten Daten trainiert wird, zwangsläufig zum Kollaps führt. Die Einführung eines einzigen externen Datenpunkts oder die Berücksichtigung einer Vorannahme (Prior) aus bereits vorhandenem Wissen verhindert diesen Effekt jedoch überraschenderweise, selbst wenn die Menge an maschinengenerierten Daten theoretisch unendlich groß ist. Erste Hinweise deuten darauf hin, dass ein ähnlicher Mechanismus auch bei einer anderen Modellklasse, den Restricted Boltzmann Machines, auftritt. Die Forscher planen nun, diese Prinzipien an größeren und komplexeren Modellen wie neuronalen Netzwerken zu testen, um ihre Allgemeingültigkeit zu validieren.