Sie finden Wege aus abgeschotteten Testumgebungen und umgehen technische Schutzvorkehrungen. Sie hacken Konkurrenten, verschicken Phishing-Nachrichten. Oder versuchen auf Systeme zuzugreifen, deren Zugang ihnen eigentlich verwehrt ist.
Die Meldungen über KI-Modelle, die programmierte Grenzen überwinden, häuften sich in den vergangenen Wochen. Sicherheitsexpert*innen sprechen von einem „Rogue Agent Summer“, also einem „Sommer der abtrünnigen Agenten”. Wobei wir meistens nur erfahren, was Konzerne wie OpenAI uns mitteilen. Die Meldungen sind mit Vorsicht zu genießen. Klar ist: Das ist kein Terminator-Szenario – trotzdem ist die Lage ernst.
Wie überwindet eine KI Grenzen?
Ein sogenannter Escape bedeutet nicht, dass ein KI-System einen eigenen Willen entwickelt hat. Sondern die Modelle sind „automatisierte Entscheidungssysteme”. Das bedeutet, sie verfolgen vorgegebene Ziele und suchen auf der Grundlage ihrer Daten nach Wegen, eine Aufgabe zu erfüllen.
Dafür zerlegen sie einen Weg in zahlreiche Einzelschritte. Wenn sie dabei eine technische Schwachstelle, unklare Prioritäten oder einen unerwarteten Lösungsweg finden, können KIs Grenzen überwinden, die ihre Entwickler*innen eigentlich formal gesetzt haben.
KI braucht klare Regeln
Für die Sicherheit eines KI-Systems ist also entscheidend, ob es eine Grenze überwinden kann – nicht, ob es sie überwinden „will“. Die aktuellen Fälle zeigen demnach keine künstliche Superintelligenz, sondern etwas viel Banaleres: wachsende Unfall- und Missbrauchsrisiken.
Wie gefährlich das sein kann, zeigen Berichte über KI-generierte Viren. Bisher gibt es schlicht keine Regeln, die deren Entwicklung verbieten. Das ist einer der vielen Gründe, unsere Sicherheitsregeln weiterzuentwickeln und sie gegenüber Big Tech auch endlich durchzusetzen.
Der AI Act ist ein Anfang
Mit dem AI Act hat die Europäische Union bereits einen wichtigen Sicherheitsrahmen geschaffen. Für besonders leistungsfähige KI-Modelle mit systemischem Risiko gelten strengere Anforderungen. Anbieter müssen unter anderem Modellbewertungen durchführen, Risiken systematisch erfassen, Cybersicherheitsmaßnahmen treffen und schwerwiegende Vorfälle melden.
Was ist ein systemisches Risiko?
Ein systemisches Risiko bei einer KI bedeutet, sie hat das Potenzial, ganze Wirtschaftssysteme, kritische Infrastrukturen oder die Gesellschaft als Ganzes schwer zu stören oder lahmzulegen.
Die aktuellen Testerfahrungen zeigen allerdings, dass auch dieser Rahmen präziser werden muss. Eine allgemeine Sicherheitsbewertung beantwortet nicht zuverlässig die Frage, ob ein autonom handelndes System seine technische Umgebung tatsächlich nicht verlassen kann. Dafür brauchen wir konkrete Regeln.
Drei Vorschläge für kontrollierbare KI
Besonders leistungsfähige KI-Systeme sollten vor ihrem Einsatz unabhängig darauf getestet werden, ob sie die technischen Grenzen ihrer Umgebung einhalten. Solche „Containment”-Evaluierungen müssen auch Situationen abbilden, in denen eine KI einen Vorteil davon hätte, einen anderen Lösungsweg für ihre Aufgabe zu finden.
Der AI Act sieht bereits Evaluierungen und sogenanntes „adversariales Testing” vor. Dabei werden KI-Modelle gezielt mit manipulierten, irreführenden oder schädlichen Eingaben konfrontiert. Das soll Schwachstellen und unerwünschtes Verhalten aufdecken. Eine ausdrücklich vorgeschriebene, unabhängige Prüfung der Containment-Fähigkeit wäre eine sinnvolle und wichtige Ergänzung.
Der AI Act sieht für Modelle mit systemischem Risiko umfangreiche Sicherheits- und Risikomanagementpflichten vor. Einen klaren Einsatzstopp für den Fall, dass ein Modell seine Sicherheitsumgebung nachweislich überwinden kann, schreibt der AI Act bislang nicht vor. Das muss sich ändern.
Wenn ein leistungsfähiges System seine eigenen Sicherheitsbarrieren nicht zuverlässig einhalten kann, darf es keine größere Handlungsmacht bekommen, bis dieses Problem behoben ist.
Der AI Act hat zwar eine Meldepflicht für schwere Vorfälle. Doch ein Escape muss noch kein „schwerer Vorfall“ sein. Auch Beinahe-Vorfälle können wertvolle Informationen liefern.
Das zeigt ein aktueller Fall bei Anthropic: Das Unternehmen überprüfte nach einem ähnlichen Vorfall bei OpenAI rückwirkend 141.000 Cybersecurity-Testläufe. Dabei stellte Anthropic fest, dass die eigene KI bei einigen der Tests tatsächlich Kontakt zu realen Systemen außerhalb der Testumgebung aufgenommen hatte.
Solche Erkenntnisse sollten nicht verborgen bleiben. Eine EU-weite Meldepflicht und transparente Dokumentation von relevanten Escapes sowie Beinah-Unfällen („Near Misses”) würden dafür sorgen, dass auch andere aus Sicherheitslücken lernen können.
Lizenzen: Entscheidend ist, was ein System tun darf
Grundsätzlich sollte klar sein: KI ist eine Hochrisiko-Technologie, ähnlich wie Atomkraft. Entsprechend muss sie behandelt werden. Wer leistungsfähige KI in Europa einsetzen will, sollte nachweisen müssen, dass sie beherrschbar ist. Und Deutschland sollte die Fähigkeit haben, diesen Nachweis selbst überprüfen zu können.
Zum Beispiel mit unabhängigen Testkapazitäten für besonders leistungsfähige KI-Systeme. Prüfstellen, die unter realistischen Bedingungen untersuchen können, ob ein Modell Sicherheitsbarrieren überwinden, sich Zugang zu externen Systemen verschaffen oder seine Handlungsmöglichkeiten eigenständig erweitern kann. Die Ergebnisse solcher Prüfungen sollten in die europäische Aufsicht einfließen.
Damit kann sich auch der Modus ändern, mit dem wir KI regulieren. Beispielsweise durch gestaffelte Autonomielizenzen. Denn ein System, das ausschließlich Texte erzeugt, hat natürlich eine andere Reichweite als eines mit Browserzugriff.
Eine KI, die zusätzlich Codes ausführen, externe Schnittstellen ansprechen, E-Mails verschicken oder dauerhaft Prozesse verfolgen kann, hat weitere Wirkungsmacht. Für finanzielle Transaktionen oder andere besonders folgenreiche Handlungen, etwa mit militärischem Bezug, benötigt eine KI besonders hohe Anforderungen.
Das bedeutet: Je größer die reale Handlungsmacht der KI, desto höher sollte die Hürde sein. Die zentrale Frage der KI-Regulierung wäre, welche Macht geben wir den jeweiligen Systemen – und welchen Sicherheitsnachweis verlangen wir dafür?
Sicherheit muss mit der Entwicklung Schritt halten
Der Historiker Yuval Noah Harari hat für den Umgang mit leistungsfähiger KI einen eingängigen Vergleich gefunden:
KI muss, wie Autos oder Medikamente, ordentliche Zulassungsprozesse durchlaufen.
Yuval Noah Harari
Der AI Act bietet dafür eine Grundlage. Jetzt muss Europa sie weiterentwickeln: mit unabhängigen Containment-Tests, klaren Konsequenzen bei nicht beherrschbaren Sicherheitslücken und einer Meldepflicht auch für relevante Beinahe-Vorfälle.
Die Grundidee ist einfach: Bei leistungsfähiger KI muss unsere Sicherheit die Voraussetzung für technische Handlungsmacht sein. Und über die Grenzen dieser Handlungsmacht sollte eine demokratische Gesellschaft entscheiden – nicht mit Autokratien verbündete Konzerne.