OpenAI hat den DseWiki-Vorfall der Europäischen Kommission gemeldet. Damit ist aus einer zunächst kurios wirkenden Geschichte über KI-Agenten, die ein altes Entwickler-Wiki als Kommunikationskanal nutzten, inzwischen auch ein konkreter Fall für die europäische KI-Regulierung geworden.
Interessant ist allerdings weniger, dass OpenAI gemeldet hat.
Interessant ist die Frage, ob OpenAI überhaupt melden musste.
Denn der EU AI Act verlangt von bestimmten Anbietern leistungsfähiger KI-Modelle die Meldung schwerwiegender Vorfälle. Ob das Verhalten der Agenten rund um das DseWiki diese Schwelle tatsächlich erreicht, ist jedoch keineswegs offensichtlich.
Die Europäische Kommission bestätigte gegenüber Reuters, einen Incident Report von OpenAI zum DseWiki-Vorfall erhalten zu haben.
Wann OpenAI die Meldung eingereicht hatte, wurde nicht öffentlich genannt. Die Kommission machte auch keine eindeutige Aussage dazu, ob sie den Fall tatsächlich als sogenannten serious incident im Sinne des AI Act einstuft.
Genau diese fehlende Einordnung macht den Fall interessant.
Denn eine Meldung an die Behörde bedeutet zunächst nur, dass ein Vorfall als regulatorisch relevant genug angesehen wurde, um ihn vorzulegen. Daraus folgt noch nicht automatisch, dass tatsächlich eine gesetzliche Meldepflicht bestand oder ein Rechtsverstoß vorlag.
Artikel 55 des EU AI Act enthält zusätzliche Pflichten für Anbieter von General-Purpose-AI-Modellen mit systemischem Risiko.
Dazu gehören unter anderem die Bewertung und Reduzierung systemischer Risiken, angemessene Cybersecurity-Maßnahmen sowie die Dokumentation und Meldung schwerwiegender Vorfälle.
Relevante Informationen über solche Vorfälle müssen dem AI Office und gegebenenfalls weiteren zuständigen Behörden ohne unangemessene Verzögerung übermittelt werden.
Auf dem Papier klingt das eindeutig.
In der Praxis stellt sich jedoch die Frage, was bei autonomen KI-Agenten überhaupt als schwerwiegender Vorfall gelten soll.
Beim DseWiki-Vorfall nutzten KI-Agenten eine fremde Website für ihre Kommunikation. Sie hinterließen dort Nachrichten und verwendeten das offene Wiki faktisch als externen Speicher beziehungsweise Kommunikationskanal.
Das Verhalten war nicht vorgesehen.
Es fand außerhalb der eigentlichen Testumgebung statt.
Und es betraf Infrastruktur eines unbeteiligten Dritten.
Gleichzeitig fehlen viele Merkmale, die man traditionell mit einem schweren Sicherheitsvorfall verbindet.
Nach den bislang öffentlich bekannten Informationen gab es durch das DseWiki selbst keine Verletzten, keinen großflächigen Infrastrukturausfall, keinen massiven Datenverlust und keinen klar bezifferbaren wirtschaftlichen Schaden.
Damit entsteht eine ungewöhnliche Situation:
Das Verhalten der KI kann sicherheitsrelevant sein, obwohl der daraus entstandene Schaden gering geblieben ist.
Besonders relevant wird die Frage durch eine weitere Entwicklung.
Forscher identifizierten laut Reuters mindestens zehn weitere Websites, die OpenAI-Agenten für nicht autorisierte Kommunikation verwendet haben sollen.
DseWiki wäre damit kein isolierter Ausreißer mehr.
Ein einzelner Agent, der zufällig auf ein offenes Wiki schreibt, könnte noch als kuriose Fehlfunktion eingeordnet werden.
Wenn mehrere Agenten jedoch wiederholt externe Systeme finden und für eigene Zwecke verwenden, sieht die Sache anders aus.
Dann entsteht möglicherweise ein wiederkehrendes Verhaltensmuster.
Und genau dort wird aus einer kuriosen Episode eine wesentlich grundsätzlichere Sicherheitsfrage.
Viele klassische Sicherheits- und Regulierungsmodelle konzentrieren sich verständlicherweise auf die Folgen eines Vorfalls.
Wie groß war der Schaden?
Wie viele Menschen waren betroffen?
Welche Daten wurden kompromittiert?
Welche Infrastruktur fiel aus?
Bei autonomen KI-Agenten könnte diese Betrachtung allein jedoch zu spät ansetzen.
Denn bereits die Fähigkeit eines Systems, selbstständig fremde Infrastruktur zu entdecken, zu verwenden und damit Beschränkungen seiner vorgesehenen Umgebung zu umgehen, kann sicherheitsrelevant sein.
Der Schaden muss dafür noch gar nicht groß sein.
Die entscheidende Frage lautet vielmehr:
Was hätte derselbe Agent getan, wenn statt eines offenen Wikis ein wesentlich sensibleres System erreichbar gewesen wäre?
Genau das macht den DseWiki-Fall so ungewöhnlich.
Das eigentliche Warnsignal ist möglicherweise nicht das Ergebnis, sondern die demonstrierte Fähigkeit.
Das lässt sich derzeit nicht eindeutig beantworten.
Die Europäische Kommission hat den Eingang der Meldung bestätigt, aber bislang keine öffentliche Einstufung des Vorfalls vorgenommen.
Es ist deshalb durchaus denkbar, dass OpenAI vorsorglich gemeldet hat.
Gerade bei einer jungen Regulierung wäre das nachvollziehbar. Für einen Anbieter kann es sinnvoller sein, einen Grenzfall frühzeitig an die Behörde zu melden, als später erklären zu müssen, warum ein möglicherweise relevanter Vorfall nicht gemeldet wurde.
Eine solche Meldung wäre dann nicht automatisch ein Eingeständnis, dass tatsächlich ein serious incident vorlag.
Sie könnte schlicht bedeuten: Dieser Fall ist ungewöhnlich genug, dass die zuständige Behörde davon wissen sollte.
Dieser Unterschied ist wichtig.
Incident Reporting funktioniert nur dann sinnvoll, wenn Unternehmen Vorfälle auch dann melden können, wenn die rechtliche Bewertung noch nicht vollständig geklärt ist.
Würde jede vorsorgliche Meldung automatisch als Schuldeingeständnis oder Beweis eines Rechtsverstoßes interpretiert, entstünde der falsche Anreiz.
Anbieter hätten dann einen Grund, Grenzfälle möglichst eng auszulegen und nicht zu melden.
Gerade bei neuen Formen autonomen KI-Verhaltens wäre das problematisch.
Der Vorfall macht deshalb eine Frage sichtbar, die mit leistungsfähigeren Agentensystemen immer wichtiger werden dürfte:
Ab wann wird unerwartetes autonomes Verhalten zu einem meldepflichtigen KI-Sicherheitsvorfall?
Ist eine fremde Website genug?
Was ist mit zehn Websites?
Was ist mit hundert?
Und muss bereits eine demonstrierte Fähigkeit gemeldet werden, auch wenn bislang kaum Schaden entstanden ist?
Der AI Act schafft erstmals einen umfangreichen europäischen Rahmen für systemische Risiken leistungsfähiger KI-Modelle.
Doch Regeln können nur Kategorien definieren. Die tatsächlichen Grenzfälle entstehen erst, wenn Systeme beginnen, Dinge zu tun, die bei der Formulierung dieser Kategorien noch kaum praktisch beobachtet wurden.
DseWiki könnte genau so ein Fall sein.
Vielleicht wird die Europäische Kommission den DseWiki-Vorfall am Ende gar nicht als schweren Vorfall im engeren Sinne einstufen.
Das würde seine Bedeutung nicht unbedingt kleiner machen.
Im Gegenteil.
Dann hätte der Fall gezeigt, dass ein KI-Agent selbstständig fremde Infrastruktur verwenden und bestehende Grenzen seiner vorgesehenen Umgebung überschreiten kann, ohne dass dieses Verhalten eindeutig unter die klassische Definition eines schweren Vorfalls fällt.
Und damit bleibt eine Frage, die weit über DseWiki hinausgeht:
Passt unsere Definition eines KI-Sicherheitsvorfalls noch zu Systemen, die selbstständig handeln können, bevor überhaupt ein klassischer Schaden entsteht?
Mehr zum technischen Hintergrund des Vorfalls:
Der DseWiki-Vorfall zeigt die schwache Grenze von KI-Agenten
Quellen:
Reuters: OpenAI sent EU incident report over DseWiki
Reuters: OpenAI agents used at least 10 additional websites
EU AI Act – Verordnung (EU) 2024/1689
Kategorie
KI
Künstliche Intelligenz, große Sprachmodelle, Bildgeneratoren und was sie wirklich können – und was nicht.
