Mehr als 200 ehemalige Staatsoberhäupter, Diplomaten, Nobelpreisträger, KI-Experten und Wissenschaftler haben sich gemeinsam für einen weltweiten Konsens über „rote Linien“ bei künstlicher Intelligenz ausgesprochen. Ziel ist es, bis Ende 2026 eine internationale politische Vereinbarung zu erreichen, die klare Grenzen für die Entwicklung und Nutzung von KI festlegt – beispielsweise den Verbot von menschlicher Identitätsmanipulation durch KI oder die Selbstreplikation autonomer Systeme. Die Initiative, die als „Global Call for AI Red Lines“ bekannt ist, wurde von der französischen Zentrale für KI-Sicherheit (CeSIA), der Future Society und dem Center for Human-Compatible Artificial Intelligence der University of California, Berkeley, vorangetrieben und von über 70 Organisationen unterstützt. Unter den Unterzeichnern befinden sich renommierte Persönlichkeiten wie der britisch-kanadische Informatiker Geoffrey Hinton, OpenAI-Mitgründer Wojciech Zaremba, Anthropic-CISO Jason Clinton und Google DeepMind-Forscher Ian Goodfellow. Charbel-Raphaël Segerie, Geschäftsführer von CeSIA, betonte in einer Pressekonferenz, dass es darum gehe, „großflächige, möglicherweise irreversiblen Risiken zu verhindern, bevor sie eintreten“. Er argumentierte, dass selbst wenn Länder sich nicht einigen können, was sie mit KI tun wollen, sie sich zumindest darauf einigen müssten, was KI niemals tun darf. Die Ankündigung erfolgt im Vorfeld der 80. Sitzungswoche der Vereinten Nationen in New York, wo Nobelpreisträgerin Maria Ressa die Notwendigkeit globaler Verantwortlichkeit gegenüber Big Tech unterstrich. Bereits existieren regionale Regelungen: Die EU-KI-Verordnung verbietet bestimmte Anwendungen, die als „unakzeptabel“ gelten, und die USA sowie China haben eine Vereinbarung getroffen, dass nukleare Waffen stets unter menschlicher Kontrolle bleiben müssen. Doch eine globale Einigung fehlt weiterhin. Niki Iliadis von der Future Society warnte vor „freiwilligen Zusagen“, die nicht durchsetzbar seien. Stattdessen forderte sie ein unabhängiges globales Gremium mit Durchsetzungskraft, das die roten Linien definiert, überwacht und durchsetzt. Stuart Russell, Professor für Informatik an der UC Berkeley und führender KI-Forscher, betonte, dass KI-Unternehmen ihre Entwicklung anhalten könnten, bis sie sicherstellen könnten, dass KI-Systeme sicher seien – ähnlich wie bei der Atomenergie, bevor Reaktoren gebaut wurden. Er lehnte die gängige These ab, dass Innovation und Sicherheit gegeneinander ausgespielt werden müssten: „Man kann wirtschaftliche Entwicklung mit KI fördern, ohne eine AGI zu entwickeln, die wir nicht kontrollieren können.“ Die Initiative wird von Experten als entscheidender Schritt hin zu verbindlicher internationaler KI-Governance gewertet. Kritiker argumentieren, dass ein solcher Konsens politisch unrealistisch sei, doch Befürworter sehen darin die einzige Möglichkeit, die menschliche Sicherheit vor unkontrollierbaren Technologien zu schützen. Die Gruppe will bis 2026 einen konkreten Rahmen vorschlagen, der dann von Regierungen auf der UN-Plattform diskutiert werden könnte.