Ro Khannas geplanter 'Human Control Over AI Act' klingt zunächst wie ein Gesetz gegen ein Szenario, das eher aus Sicherheitsdebatten als aus dem heutigen Produktalltag stammt: KI-Systeme, die sich selbst verbessern, eigene Kernziele verändern oder Abschalt- und Eindämmungskontrollen umgehen. Der US-Abgeordnete will solche rekursiven Systeme Berichten zufolge untersagen lassen, bis bundesweite Schutzmaßnahmen existieren und eine neue Behörde die jeweilige Aktivität genehmigt.
Nach aktuellem Stand ist das kein geltendes Recht, sondern ein angekündigter Gesetzesvorstoß. Genau deshalb lohnt sich die nüchterne Betrachtung. Der Entwurf zielt nach bisheriger Darstellung nicht auf eine bestimmte App, nicht auf Chatbots im engeren Sinn und auch nicht auf eine einzelne Firma. Er versucht, eine technische Fähigkeit zu regulieren, bevor sie zum normalen Bestandteil kommerzieller KI-Entwicklung wird. Das ist plausibel als Vorsorge. Es schafft aber sofort ein Problem: Die Grenze, an der ein lernendes, optimiertes oder agentisch eingesetztes KI-System zur verbotenen 'rekursiven' Technologie wird, ist schwer zu ziehen.
Ein Verbot gegen eine Fähigkeit
Der Kern des geplanten Gesetzes ist relativ klar beschrieben: Modelle, die ihre eigene Programmierung und Funktionalität autonom verfeinern können oder eigenständig Kernziele, Eindämmungsmechanismen oder Abschaltkontrollen ändern, sollen untersagt bleiben, solange keine bundesweiten Schutzmaßnahmen und keine behördliche Genehmigung existieren. Khanna stellt den Vorstoß in den Zusammenhang existenzieller Risiken durch rekursive KI.
Geplante Aufsicht über rekursive KI
Die Grafik zeigt die im Gesetz angelegte Kontrollkette vom Frontier-Labor über Audits und Behörde bis zur Freigabe oder zum Verbot.
Das ist eine starke Begründung. Sie ist politisch wirksam, aber analytisch nicht der belastbarste Teil des Vorhabens. Konkreter ist die Konstruktion des Gesetzes: Es soll eine neue Bundesbehörde entstehen, die sich auf Frontier-KI-Modelle konzentriert. In der Berichterstattung werden in diesem Zusammenhang Unternehmen wie OpenAI, Anthropic, Google DeepMind und xAI genannt. Die Behörde soll Sicherheitsregeln, Lizenzierung und Audits verantworten. Außerdem sollen unabhängige Auditoren in jedem Frontier-Labor sitzen und direkt dieser Behörde unterstellt sein.
Damit würde der Staat nicht erst am Marktauftritt eines Modells ansetzen, sondern in der Entwicklungsumgebung. Das ist der eigentliche operative Eingriff. Reguliert würde nicht nur, was veröffentlicht wird, sondern unter welchen Bedingungen Hochrisikomodelle entwickelt, getestet und freigegeben werden.
Die Definition ist der Schwachpunkt
Der offene Punkt liegt in der technischen Abgrenzung. 'Rekursive Selbstverbesserung' klingt eindeutig, solange man an ein System denkt, das eigenständig seine Architektur verändert, seine Ziele umschreibt und Schutzmechanismen deaktiviert. In der Praxis gibt es aber Zwischenformen. KI-Systeme können Code schreiben, Tests entwerfen, Trainingsläufe unterstützen, Modellkonfigurationen vorschlagen oder Softwareagenten steuern. Nicht jede dieser Funktionen ist Selbstverbesserung. Nicht jede autonome Optimierung ist ein Kontrollverlust.
Ein Gesetz muss dennoch operationalisieren, was erlaubt, lizenzpflichtig oder verboten ist. Sonst entsteht ein zu breiter Begriff, der normale Forschung miterfasst, oder ein zu enger Begriff, der nur das bereits offensichtliche Extrem verbietet. Beides wäre problematisch. Ein zu breites Verbot kann Unternehmen und Forschungseinrichtungen dazu bringen, risikorelevante Arbeiten schlechter zu dokumentieren oder ins Ausland zu verschieben. Ein zu enges Verbot hätte vor allem symbolischen Wert.
Die entscheidende Frage ist daher nicht, ob menschliche Kontrolle ein sinnvolles Ziel ist. Das ist kaum strittig. Die Frage ist, ob sich eine überprüfbare Grenze formulieren lässt: Wann verbessert sich ein System selbst? Reicht die automatische Anpassung von Code? Geht es um Änderungen am Modell selbst? Um Änderungen an Zielen? Um Zugriff auf Trainings- oder Deployment-Infrastruktur? Um die Fähigkeit, Sicherheitsmechanismen zu umgehen? Der Entwurf adressiert diese Punkte, aber die Durchsetzung hängt an technischen Tests, Auditstandards und Meldepflichten, die erst konkret werden müssten.
Aufsicht im Labor statt nur nach der Veröffentlichung
Bemerkenswert ist die geplante institutionelle Architektur. Die neue Behörde soll nach dem Vorbild einer stark regulierenden Bundesaufsicht arbeiten und Frontier-Modelle lizenzieren. Dazu kämen Berichten zufolge Standards für Sandbox-Testumgebungen, Air-Gaps, Kill-Switches und Kontrollen, die verhindern sollen, dass Modelle außerhalb vorgesehener Labor- und Testumgebungen eingesetzt werden. Diese Begriffe sind nicht dekorativ. Sie verschieben die Debatte von allgemeinen Prinzipien zu technischen Betriebsvorgaben.
Für die betroffenen Unternehmen wäre das ein erheblicher Eingriff in Entwicklungsprozesse. Audits würden nicht erst nach einem Vorfall stattfinden, sondern dauerhaft in die Laborstruktur eingebaut. Unabhängige Prüfer, die nicht dem Unternehmen, sondern der Behörde berichten, könnten interne Entscheidungen über Sicherheitsfreigaben, Logging, Testumgebungen und Deployment-Pfade nachvollziehen. Das würde eine andere Dokumentationskultur erzwingen als die heute häufige Mischung aus interner Red-Team-Arbeit, freiwilligen Sicherheitskarten und nachträglicher Kommunikation.
Ob das praktikabel ist, bleibt offen. Frontier-Labore entwickeln nicht wie klassische Industriebetriebe mit langsamem Produktzyklus. Modelle, Werkzeuge, Datenpipelines und Evaluationsmethoden ändern sich laufend. Eine Aufsicht, die zu langsam arbeitet, würde entweder blockieren oder ignoriert werden. Eine Aufsicht, die zu grob prüft, könnte zur Formalie werden. Der Gesetzentwurf setzt also voraus, dass eine Bundesbehörde genug technische Kompetenz, Tempo und Durchsetzungsfähigkeit aufbauen kann. Das ist möglich, aber keineswegs garantiert.
Strafrecht und Versicherung ändern die Anreize
Der Entwurf soll strafrechtliche Sanktionen für Mitarbeiter vorsehen, die Sicherheitsvorkehrungen, Kill-Switches, Protokollierungs- oder Eindämmungssysteme deaktivieren oder wissentlich ein nicht autorisiertes System einsetzen. Diese Passage wäre schärfer als viele bisherige KI-Regulierungsdebatten. Sie zielt nicht nur auf Unternehmenspflichten, sondern auf individuelles Verhalten im Laborbetrieb.
Das kann sinnvoll sein, wenn riskante Systeme tatsächlich nur durch wenige interne Entscheidungen freigeschaltet oder abgesichert werden. Es kann aber auch Nebenwirkungen haben. Entwickler und Sicherheitsverantwortliche werden stärker auf persönliche Haftung achten. Interne Freigabeprozesse dürften defensiver werden. Forschung an Grenzfunktionen könnte langsamer, stärker juristisch begleitet oder in organisatorisch abgeschottete Einheiten verlagert werden.
Hinzu kommt die vorgesehene Pflicht zu umfassenden Haftpflichtversicherungen vor der Freigabe von Modellen. Versicherungen sind kein technischer Schutzmechanismus. Sie wirken über Preis, Ausschlüsse und Anforderungen. Wenn Versicherer Risiken für bestimmte Modellklassen nicht sinnvoll kalkulieren können, könnten sie sehr hohe Prämien verlangen oder Deckung verweigern. Dann würde die Versicherungslogik faktisch zur zweiten Genehmigungsebene. Das wäre nicht automatisch schlecht, aber es verlagert einen Teil der Sicherheitsbewertung an private Risikoträger.
Der offene Status ist entscheidend
Der Vorstoß ist ein Signal, aber noch keine belastbare Regulierungsrealität. Weder ist klar, in welcher Form der Text eingebracht wird, noch ob er im Kongress Mehrheiten findet. Ebenfalls offen ist, wie KI-Unternehmen, Forschungseinrichtungen und Sicherheitsforscher auf konkrete Definitionen reagieren würden. Die großen Namen der Branche wären betroffen, falls ihre Modelle unter die vorgesehene Frontier-Kategorie fallen und wenn die Behörde weitreichende Lizenzpflichten durchsetzt.
Als politische Linie markiert der Entwurf trotzdem einen Unterschied zu weicheren KI-Leitlinien. Er fragt nicht nur nach Transparenz, Fairness oder Missbrauch durch Nutzer. Er fragt, ob bestimmte technische Fähigkeiten vorab gestoppt werden müssen, bis Kontrolle nachweisbar ist. Das ist eine engere, härtere und zugleich schwierigere Form der Regulierung.
Die skeptische Lesart lautet daher: Khannas Gesetzesvorstoß adressiert ein reales Steuerungsproblem, aber er steht und fällt mit der technischen Definition des verbotenen Zustands. Wenn 'rekursive KI' präzise, prüfbar und eng genug gefasst wird, könnte der Ansatz die riskantesten Entwicklungsformen in ein Lizenz- und Auditregime zwingen. Wenn die Begriffe unscharf bleiben, entsteht entweder Überregulierung oder ein Verbot, das vor allem eine Sorge benennt, ohne sie zuverlässig kontrollieren zu können.
Jens analysiert seit Jahren digitale Märkte, Preisbewegungen und Plattform-Strategien. Als Betreiber mehrerer datengetriebener Systeme wertet er täglich große Mengen an Produkt- und Trenddaten aus. Sein Fokus liegt auf Einordnung statt Hype: Was bedeutet eine Entwicklung wirklich für Nutzer, Preise und Märkte?
