Sutton warnt vor KI-Training mit synthetischen Daten
KI-Pionier Richard Sutton warnt vor der Abhängigkeit der Branche von synthetischen Trainingsdaten und plädiert für den Einsatz realer Erfahrungsdaten. Auf einer jüngsten Episode des Sequoia-Podcasts erklärte der Turing-Ausgezeichnete, der enorme Fokus auf künstlich generierte Datensätze zur Skalierung großer Sprachmodelle stelle einen gravierenden Fehler dar. Sutton argumentiert, dass synthetische Daten menschliches Verhalten und die Komplexität physischer Umgebungen nicht adäquat abbilden könnten. Variablen wie Reibung oder mechanischer Verschleiß an Roboterkomponenten ließen sich in Simulationen nicht vollständig erfassen, weshalb jede künstliche Nachbildung der Realität unzureichend bleibe. Als Alternative schlägt der Wissenschaftler erfahrungsorientiertes Lernen vor. KI-Agenten sollten durch direkte Interaktion mit ihrer tatsächlichen Umgebung lernen, Konsequenzen beobachten und ihr Wissen kontinuierlich anpassen. Diese Sichtweise wird zunehmend zum Fundament neuer Marktinitiativen. So haben Sutton und sein ehemaliger Student Khurram Javed im vergangenen Monat Oak Lab gegründet. Das Startup konzentriert sich auf autonome Systeme, die primär aus eigenen Interaktionen lernen, anstatt sich auf vorab kuratierte Massendatensätze zu stützen. Offizielle Angaben zu Finanzierung oder Investoren liegen nicht vor. Die Kritik Suttons unterstreicht einen aktuellen Branchentrend. Technologiekonzerne wie OpenAI und Google investieren vermehrt in den Erwerb proprietärer, authentischer Datenquellen. OpenAI forschte bereits öffentlich nach lizenzierten Datensätzen außerhalb offener Internetarchive, während Google kürzlich 10 Millionen US-Dollar für interne Daten und Software der insolventen Spirit Airlines zahlte. Diese Transaktion verdeutlicht den steigenden Marktwert originaler, realweltbasierter Informationen für die KI-Entwicklung. Suttons Forderung nach einer Abkehr von der Daten-Synthese hin zu echten Interaktionsmustern markiert einen strategischen Wendepunkt. Sie fordert die Industrie auf, die Grenzen aktueller Simulationsansätze anzuerkennen und ressourcenintensive, echtzeitbasierte Lernpfade zu priorisieren, um nachhaltige KI-Systeme zu entwickeln.
