Modellkollaps
Der Modellkollaps ist ein Problem im Bereich der künstlichen Intelligenz, insbesondere beim maschinellen Lernen und beim Training von Deep-Learning-Modellen. Es bezieht sich darauf, dass, wenn das Modell während des Trainings beginnt, Daten zu generieren, die weit von der wahren Datenverteilung abweichen, die Leistung des Modells stark abfällt und die Modellausgabe schließlich bedeutungslos wird.
Das Konzept des Modellkollapses hat im Jahr 2024 viel Aufmerksamkeit erhalten, insbesondere beim Training großer Sprachmodelle (LLMs). Papier"Ist der Zusammenbruch des Modells unvermeidlich? Den Fluch der Rekursion durch die Ansammlung realer und synthetischer Daten brechenDurch experimentelle und theoretische Analysen wurde das Problem des Modellkollapses untersucht und eine Strategie zur Vermeidung des Modellkollapses durch Datenakkumulation vorgeschlagen. Das Papier wurde im „ICML 2024 Workshop on Foundation Models in the Wild“ veröffentlicht. Das Papier weist darauf hin, dass die Leistung eines Modells, wenn es mit von ihm selbst generierten Daten trainiert wird, allmählich nachlässt, bis das Modell unbrauchbar wird. Dieses Phänomen wird als Modellkollaps bezeichnet. Die Forscher haben durch Experimente nachgewiesen, dass das Ersetzen der ursprünglichen realen Daten durch jede Generation synthetischer Daten tatsächlich zum Modellkollaps führt. Sie zeigen dann, dass ein Modellkollaps vermieden werden kann, indem aufeinanderfolgende Generationen synthetischer Daten neben den ursprünglichen realen Daten akkumuliert werden, und dass diese Ergebnisse für eine Reihe von Modellgrößen, Architekturen und Hyperparametern gelten.