OpenAI-Cofounder warnt: KI bleibt unter Aufsicht

Andrej Karpathy, Mitbegründer von OpenAI, warnt vor den unüberwachten Einsatz von KI-Agenten und spricht sich für eine vorsichtigere Herangehensweise aus. In einer Schlüsselnote bei einem Event, das von Y Combinator vor kurzem veranstaltet wurde, betonte Karpathy, dass KI noch weit davon entfernt ist, perfekt zu sein und häufig Fehler macht, die kein Mensch begehen würde. Karpathy vergleicht große Sprachmodelle (LLMs) mit „Menschengeistern“ – unheimlichen Simulationen menschlicher Intelligenz, die Fakten erfinden, Selbstbewusstsein fehlt und unter „Amnesie“ leiden. Zum Beispiel behaupten sie, 9.11 sei größer als 9.9 oder es gebe zwei R’s im Wort „Erdbeere“. Obwohl LLMs in der Lage sind, innerhalb von Sekunden 10.000 Codezeilen zu generieren, sollten Entwickler nicht einfach abwarten und die KI freien Laufs lassen. „Ich bin immer noch die Flaschenhalsbegrenzung“, sagte Karpathy. „Ich muss sicherstellen, dass diese Sache keine Fehler einführt.“ Er rät Entwicklern, langsamer vorzugehen und präzisere Anweisungen zu geben. „Ich arbeite immer in kleinen schrittweisen Abschnitten. Ich will sicherstellen, dass alles gut ist“, erklärte er. „Es macht viel mehr Sinn, etwas mehr Zeit in präzisere Anweisungen zu investieren, was die Wahrscheinlichkeit erfolgreicher Verifizierung erhöht und man weitermachen kann.“ Karpathys Warnung wurde von anderen Experten in der Branche aufgegriffen. Bob McGrew, ehemaliger Forschungsleiter von OpenAI, sagte in einer Folge des Podcasts „Training Data“ von Sequoia Capital, dass menschliche Ingenieure noch immer unerlässlich sind, um KI zu lenken und einzugreifen, wenn Probleme auftreten. Wenn ein Projekt „zu kompliziert für die KI wird, kann ein menschlicher Ingenieur helfen, das Problem in kleinere Teile zu zerlegen, die die KI lösen kann.“ Kent Beck, einer der Autoren des wichtigen „Agilen Manifests“, vergleicht KI-Agenten mit „Genien“ – sie erfüllen oft deine Wünsche, aber nicht immer so, wie du es möchtest. „Sie tun nicht, was du meinst. Sie haben ihren eigenen Agenda“, sagte Beck in einer kürzlichen Episode des Podcasts „The Pragmatic Engineer“. „Die beste Analogie, die ich finden konnte, ist ein Genius. Er erfüllt dir Wünsche, und dann wünschst du dir etwas, und du bekommst es, aber es ist nicht, was du wirklich wolltest.“ Beck fügte hinzu, dass die Ergebnisse so inkonsistent sind, dass der Einsatz von KI zum Codieren manchmal wie Glücksspiel wirkt. Trotz dieser Einschränkungen setzen große Technologiefirmen auf KI für die Zukunft des Programmierens. Sundar Pichai, CEO von Alphabet, sagte bei der jüngsten Gewinnkonferenz des Unternehmens, dass KI mehr als 30% des neuen Codes von Alphabet schreibt, was gegenüber dem letzten Jahr von 25% gestiegen ist. Diese Warnungen und Einsichten der Experten unterstreichen die Notwendigkeit, KI in der Softwareentwicklung vorsichtig und überwacht einzusetzen. Die Technologie bietet enorme Potenziale, aber der aktuelle Stand zeigt deutlich, dass menschliche Expertise noch lange nicht entbehrlich ist. Karpathy und andere betonen, dass eine präzise Steuerung und Verifizierung der KI-Ausgaben entscheidend sind, um die Qualität und Zuverlässigkeit des Codes zu gewährleisten. Karpathy prägte im Februar den Begriff „Vibe Coding“ (Atmosphärecodierung), um das Vorgehen beim Eingeben von Anweisungen für KI zu beschreiben. Der Gedanke dahinter ist, dass Entwickler sich voll und ganz den „Vibes“ hingeben und den Code fast vergessen können. Allerdings müssen sie stets die Kontrolle behalten, um die KI korrekt zu leiten und Fehler zu vermeiden. Insgesamt zeigen die Aussagen der Experten, dass KI in der Softwareentwicklung zwar fortschrittlich ist, aber noch lange nicht so weit, dass sie autonom und ohne menschliche Überwachung eingesetzt werden kann. Die Technologie ist ein mächtiges Werkzeug, das jedoch sorgfältig gehandhabt werden muss, um ihre Vorteile vollständig zu nutzen und gleichzeitig Risiken zu minimieren. Industry-Insider bewerten die Warnungen von Karpathy und anderen positiv. Sie sehen darin eine wichtige Mahnung, die Entwicklung und Anwendung von KI nicht zu übereilen, sondern langsam und bedacht voranzuschreiten. Unternehmen wie Google und Microsoft setzen zwar massiv auf KI, erkennen aber auch die Notwendigkeit, menschliche Expertise im Prozess zu integrieren. OpenAI ist bekannt für seine führende Rolle in der Entwicklung fortschrittlicher KI-Modelle, aber die Firma betont zunehmend die Bedeutung der Überwachung und der menschlichen Kontrolle.