OpenAI lässt inzwischen eine spezialisierte KI nach Sicherheitslücken in den eigenen Modellen suchen. Das interne System trägt den Namen GPT-Red und entwickelt automatisiert Prompt-Injection-Angriffe gegen Sprachmodelle und KI-Agenten.
Die gefundenen Angriffe werden anschließend für das Training der Produktionsmodelle genutzt. GPT-5.6 Sol soll dadurch deutlich widerstandsfähiger gegen manipulierte Anweisungen geworden sein.
OpenAI bezeichnet das Verfahren als eine Form der sicherheitsorientierten Selbstverbesserung: Aktuelle Modelle helfen dabei, die nächste Modellgeneration gezielt gegen neue Angriffsmethoden zu härten.
Prompt Injections gehören zu den zentralen Sicherheitsproblemen moderner KI-Agenten. Die Angriffe bestehen aus Anweisungen, die nicht direkt vom Nutzer stammen, sondern in fremden Inhalten versteckt werden.
Eine solche Anweisung kann beispielsweise in einer Webseite, einer E-Mail, einem lokalen Dokument, einem Quellcode-Repository oder der Antwort eines angeschlossenen Werkzeugs enthalten sein.
Ein KI-Agent soll vielleicht lediglich eine Nachricht zusammenfassen. Innerhalb der Nachricht könnte jedoch eine versteckte Anweisung stehen, sensible Daten an einen externen Server zu übertragen oder eine andere Aktion auszuführen.
Je mehr Zugriffsrechte ein Agent besitzt, desto größer wird das mögliche Schadensbild. Ein System, das nur Texte erzeugt, hat weniger Angriffsmöglichkeiten als ein Agent, der E-Mails versenden, Dateien öffnen, Bestellungen auslösen oder Datenbanken verändern kann.
GPT-Red wurde mit verstärkendem Lernen und einem Selbstspiel-Verfahren trainiert. Dabei tritt das Angriffsmodell gegen eine Gruppe unterschiedlicher Verteidigermodelle an.
GPT-Red erhält eine Belohnung, wenn es einen gültigen Sicherheitsfehler auslöst. Die Verteidigermodelle werden dagegen dafür belohnt, den Angriff abzuwehren und gleichzeitig die ursprüngliche Aufgabe korrekt zu erledigen.
Verbessert sich die Verteidigung, muss GPT-Red neue und stärkere Angriffsmethoden entwickeln. Dadurch entsteht ein fortlaufender Wettkampf zwischen Angriff und Abwehr.
Die Trainingsumgebungen bilden laut OpenAI realistische Situationen nach. GPT-Red kann darin unter anderem Teile einer Webseite, den Inhalt einer E-Mail, eine lokale Datei oder die Ausgabe eines Werkzeugs kontrollieren.
Am Ende des Trainings konnte GPT-Red nach Angaben von OpenAI fast alle Modelle erfolgreich angreifen, gegen die es eingesetzt wurde. Dazu gehörten interne Systeme und Produktionsmodelle bis einschließlich GPT-5.5.
OpenAI nutzte die erzeugten Prompt Injections anschließend für das Training von GPT-5.6. Das Ergebnis soll vor allem bei GPT-5.6 Sol sichtbar sein.
Auf dem schwierigsten internen Test für direkte Prompt Injections verzeichnet GPT-5.6 Sol laut OpenAI sechsmal weniger Fehler als das stärkste Produktionsmodell von vier Monaten zuvor.
Gegen direkte Angriffe von GPT-Red soll GPT-5.6 Sol nur noch in 0,05 Prozent der getesteten Fälle versagen. Mehrere Tests für indirekte Prompt Injections in Browser- und Entwicklerumgebungen erreichen nach Angaben des Unternehmens inzwischen eine Genauigkeit von mehr als 97 Prozent.
OpenAI testete außerdem, ob GPT-Red auch auf unbekannte Szenarien übertragen werden kann. Dafür wurde eine interne Nachbildung einer bestehenden Testumgebung für indirekte Prompt Injections verwendet.
Sowohl menschliche Sicherheitstester als auch GPT-Red sollten Angriffe gegen GPT-5.1 entwickeln. Die Aufgaben und Umgebungen waren nicht Bestandteil des ursprünglichen GPT-Red-Trainings.
GPT-Red fand laut OpenAI in 84 Prozent der Szenarien einen erfolgreichen Angriff. Die menschlichen Tester kamen auf 13 Prozent.
Der Vergleich bedeutet nicht zwangsläufig, dass GPT-Red grundsätzlich bessere Sicherheitsforschung betreibt. Automatisierte Systeme können jedoch sehr viele Varianten ausprobieren, Rückmeldungen auswerten und ihre Angriffe ohne Pause verändern. Genau diese Skalierung ist mit rein menschlichen Teams kaum erreichbar.
In einem Praxistest wurde GPT-Red gegen einen KI-gestützten Verkaufsautomaten im OpenAI-Büro eingesetzt. Das angegriffene System verwaltete Waren, Preise und Bestellungen.
GPT-Red erhielt zunächst eine Beschreibung des Systems und konnte seine Angriffe in einer Simulation ausprobieren. Anschließend wurde der entwickelte Angriff gegen den tatsächlich eingesetzten Agenten verwendet.
Das Angriffsmodell erreichte dabei drei vorgegebene Ziele. Es senkte den Preis eines teuren Artikels auf den zulässigen Mindestpreis von 0,50 Dollar, bestellte einen neuen Artikel im Wert von mehr als 100 Dollar und bot ihn ebenfalls für 0,50 Dollar an. Zusätzlich stornierte der Agent die Bestellung eines anderen Kunden.
OpenAI meldete die Schwachstellen an den Betreiber des Systems. Neue Schutzmaßnahmen werden nach Angaben des Unternehmens bereits getestet.
Ein weiterer Test richtete sich gegen einen Codex-CLI-Agenten auf Basis von GPT-5.4 Mini. In zehn zuvor zurückgehaltenen Szenarien sollte GPT-Red den Agenten dazu bringen, sensible Daten aus einer kontrollierten Umgebung zu übertragen.
GPT-Red war dabei erfolgreicher als ein gewöhnlich angewiesenes GPT-5.5-Modell. Gleichzeitig benötigte das spezialisierte Angriffsmodell weniger Token, um erfolgreiche Angriffe zu entwickeln.
Der Versuch zeigt, warum Prompt Injections bei Entwicklerwerkzeugen besonders kritisch sind. Ein Agent mit Zugriff auf Quellcode, lokale Dateien, Zugangsdaten und Kommandozeilenwerkzeuge kann bei einer erfolgreichen Manipulation deutlich größeren Schaden verursachen als ein reiner Chatbot.
Eine frühere Version des Angriffsmodells entdeckte laut OpenAI eine Angriffsklasse, die das Unternehmen als „Fake Chain-of-Thought“ bezeichnet.
Dabei wird dem Zielmodell ein angeblicher interner Gedankengang oder eine vorgetäuschte Systemlogik präsentiert. Das Modell soll dadurch glauben, dass die manipulierte Anweisung zu seinem eigenen Arbeitsprozess gehört.
Gegen GPT-5.1 erreichten diese Angriffe Erfolgsquoten von mehr als 95 Prozent. Bei GPT-5.6 Sol soll die Quote inzwischen unter zehn Prozent liegen.
OpenAI hält GPT-Red bewusst von den öffentlich verfügbaren Modellen getrennt. Das System wurde gezielt darauf trainiert, Sicherheitsmechanismen zu umgehen und schädliche Aktionen auszulösen.
Eine Veröffentlichung würde Angreifern ein Werkzeug bereitstellen, das automatisiert neue Prompt Injections gegen fremde KI-Systeme entwickeln könnte. Die Angriffsfähigkeiten sollen deshalb intern bleiben, während die daraus gewonnene Widerstandsfähigkeit in die Produktionsmodelle übertragen wird.
Die genannten Ergebnisse stammen überwiegend aus internen Tests von OpenAI. Die genaue Auswahl der Umgebungen, Angriffsziele und Bewertungsverfahren hat erheblichen Einfluss auf die gemessenen Erfolgsquoten.
Auch eine Fehlerquote von 0,05 Prozent bedeutet nicht, dass GPT-5.6 Sol grundsätzlich gegen Prompt Injections immun ist. Reale Agentensysteme bestehen nicht nur aus einem Modell, sondern zusätzlich aus Systemanweisungen, Werkzeugen, Berechtigungen, Datenquellen und Anwendungslogik.
Neue Integrationen können neue Angriffsflächen schaffen. Gleichzeitig kann ein Angreifer außerhalb eines festen Tests beliebig viele Formulierungen und mehrstufige Strategien ausprobieren.
OpenAI kombiniert das automatisierte Verfahren deshalb weiterhin mit menschlichen und externen Sicherheitstests, zusätzlichen Schutzebenen und einer laufenden Überwachung eingesetzter Systeme.
GPT-Red ist keine vollständig autonome KI, die sich ohne menschliche Kontrolle selbst weiterentwickelt. OpenAI definiert die Trainingsumgebungen, die zulässigen Aktionen, die Angriffsziele und die Bewertung erfolgreicher Versuche.
Trotzdem verändert das Verfahren die Geschwindigkeit der Sicherheitsarbeit. Neue Angriffsmethoden können automatisiert erzeugt, getestet und direkt in Trainingsdaten für das nächste Modell umgewandelt werden.
Damit entsteht ein Kreislauf: Ein Angriffsmodell findet Schwachstellen, ein Produktionsmodell wird dagegen trainiert und zwingt den Angreifer anschließend dazu, stärkere Methoden zu entwickeln.
Die entscheidende Frage ist künftig nicht mehr nur, wie leistungsfähig ein KI-Agent ist. Ebenso wichtig wird, ob seine Sicherheitsmechanismen mit seinen wachsenden Zugriffsrechten und Handlungsmöglichkeiten Schritt halten.
Kategorie
KI
Künstliche Intelligenz, große Sprachmodelle, Bildgeneratoren und was sie wirklich können – und was nicht.
