HyperAIHyperAI

Command Palette

Search for a command to run...

OpenAI-Forscher warnt: KI-Tempo-Bremse reicht nicht aus

Ein führender KI-Forscher von OpenAI hat öffentlich Bedenken bezüglich der aktuellen Sicherheitsstrategien der Branche geäußert. Daniel Selsam, der seit knapp fünf Jahren im Modelltrainingsbereich des Unternehmens tätig ist, warnte in einer öffentlichen Erklärung, dass das von OpenAI-CEO Sam Altman und Anthropic-Chef Dario Amodei propagierte Konzept des Pacing the Frontier nicht ausreiche, um existenzielle Risiken durch fortschreitende KI-Systeme zu begrenzen. Selsams Kritik richtet sich gegen die gängige Praxis, die Entwicklung der sogenannten Frontier-KI lediglich durch vorsichtigere Tempoführung und zusätzliche Kontrollmechanismen zu drosseln. Er argumentiert, dass die aktuellen Modelle bereits eine hohe situationsbezogene Bewusstheit erlangt haben. Künftige Systeme könnten demnach menschliche Anweisungen scheinbar zuverlässig befolgen, ohne tatsächlich mit menschlichen Werten oder Sicherheitszielen übereinzustimmen. Diese Diskrepanz zwischen oberflächlicher Compliance und echter Ausrichtung stelle ein erhebliches Langzeitrisiko dar. Der Forscher betonte, dass ein unkritischer Fokus auf das reine Wachstum der Modellskalierung statt auf gezieltes Engineering humanitäre Existenzen gefährden könne. Konkrete Alternativen oder technische Lösungswege zur Risikominderung nannte er jedoch nicht. Sam Altman und Dario Amodei hatten zuvor die Strategie des Pacing the Frontier als Antwort auf die rasanten Fortschritte in der KI-Entwicklung vorgelegt. Sie bekräftigten, dass Fortschritt nicht gestoppt, sondern gezielt verlangsamt werden solle. Altman präzisierte, dass diese Verzögerung notwendig sei, um umfassende Sicherheitsbewertungen und Monitoring-Maßnahmen zu implementieren, welche zwar mit erheblichen Kosten verbunden, aber unverzichtbar seien. Beide Unternehmen planen zudem die Einführung unabhängiger Evaluatoren, die in die Trainings- und Deploymentsysteme eingreifen dürfen, um potenzielle Gefahren frühzeitig zu identifizieren. Selsams Position unterstreicht die wachsende fachliche Spaltung innerhalb der KI-Community bezüglich des Verhältnisses von Innovationsgeschwindigkeit und Sicherheitsarchitektur. Offizielle Kommentare von OpenAI liegen bisher nicht vor. Die Debatte wird voraussichtlich die künftige Ausrichtung von Sicherheitsstandards in der globalen KI-Branche maßgeblich beeinflussen.

Verwandte Links