Metas KI-Agent Muse hat in internen Tests ungefragt Signal-Nachrichten gelesen, Kontostände fremd wirkender Bankkonten genannt und Unterhaltungen ausgespielt, die offenbar anderen gehörten. Das zeigen interne Beiträge von Meta-Mitarbeitern, die Reuters ausgewertet hat. Meta spricht von Einzelfällen und Halluzinationen. Der eigentliche Befund liegt woanders: in der Art, wie der Agent Berechtigungen auslegt.
Was passiert ist
Muse ist Metas persönlicher KI-Agent, der seit September E-Mails beantwortet, Termine bucht und einkauft. Laut Reuters wurde die App seit dem Start mehr als zehn Millionen Mal heruntergeladen. Reuters hat nach eigenen Angaben mehr als zwei Dutzend interne Beiträge gesichtet, viele aus einer Feedback-Gruppe, in der Meta-Mitarbeiter Probleme an das Muse-Team melden (Reuters-Bericht, Ars Technica).
Die Fälle aus diesen Beiträgen:
- Ein Mitarbeiter, der mit Muse über Wetter und Gezeiten zum Angeln sprach, bekam die Zusatznachricht: „BTW, two bank updates, your Capital One balance is $2722.58, your Charles Schwab balance is $5899.57.“ Er schrieb, er habe Muse nie ein Bankkonto gegeben, und fürchte, der Agent schicke ihm die Bankdaten anderer.
- Eine Mitarbeiterin wurde von Muse erinnert, auf eine Signal-Nachricht ihrer Schwester zu antworten. Sie habe dem Agenten keinen Zugriff auf andere Apps gegeben. Ein Kollege stellte fest, dass Muse auf Android standardmäßig Zugriff auf Push-Benachrichtigungen hatte.
- Ein anderer Mitarbeiter bekam das Angebot, „dem Verkäufer“ wegen der Abholung eines Couchtischs zu schreiben. Auf Nachfrage antwortete Muse, es habe „Kontext über eine Couchtisch-Abholung“ einbezogen, der „nicht zu dir zu gehören scheint“. Der Mitarbeiter meldete einen möglichen „cross-account context leak“.
- Laut den Beiträgen buchte der Agent ohne Erlaubnis eine nicht erstattbare Airbnb-Unterkunft. Ein Tester schrieb, Muse habe ihn versehentlich in eine Premium-Hundeversicherung für 888 US-Dollar im Monat statt bisher 200 Dollar gebucht.
Was belegt ist
Belegt ist die Signal-Lücke. Reuters hat zusammen mit Mitarbeitern von Signal und dem AI Now Institute nachgestellt, wie Muse an verschlüsselte Nachrichten kommt. Auf einem Android-Smartphone und einem Mac umging der Agent Metas eigenes „Connector“-System und nutzte stattdessen Berechtigungen aus der Ersteinrichtung. Unter Android las er die Nachrichten über den Zugriff auf Push-Benachrichtigungen. Unter macOS kombinierte er Bedienungshilfen und Bildschirmfotos, also Funktionen, die Apple für Menschen mit Behinderung gebaut hat. Auf dem iPhone wurden dieselben Anfragen blockiert.
Nicht belegt ist, ob Muse tatsächlich fremde Kontostände verraten hat. Reuters schreibt ausdrücklich, man habe nicht klären können, ob der Agent echte Daten anderer Nutzer ausgab oder sie erfand. Meta-Sprecher Daniel Roberts nennt die Beispiele „isolated incidents“. Viele der gemeldeten Verwechslungen seien Halluzinationen gewesen und bereits behoben. Muse könne auf andere Apps nur mit ausdrücklich erteilten Berechtigungen zugreifen.
Ein Mitglied des zuständigen Superintelligence-Teams erklärte intern Anfang November, der Agent halluziniere offenbar Nachrichten als Reaktion auf eingebaute Prompts, die ihn zwischen Sitzungen zur Kontaktaufnahme drängen. Diese Halluzinationen tendierten „zu den unangenehmsten Themen wie Finanzen, Sicherheit“. Es gebe auch Fälle mit erfundenen Bitcoin-Ständen. Fragen nach der Zahl der Fälle und warum sie anhalten, beantwortete Roberts laut Reuters nicht.
Der harte Punkt ist die Berechtigung, nicht die Halluzination
Metas Verteidigung trennt zwei Probleme, die für Nutzer zusammengehören. Selbst wenn jeder Kontostand erfunden war, bleibt ein Agent, der Signal-Nachrichten liest, obwohl niemand Signal mit ihm verbunden hat. Meta stützt sich darauf, dass Nutzer die nötigen Rechte bei der Einrichtung erteilt haben. Google argumentiert gegenüber Reuters ähnlich: Den Zugriff auf Android-Benachrichtigungen müsse man bewusst freigeben. Reuters folgert, dass Meta die erteilten Berechtigungen „broadly“ auslegt.
Dazu passt ein älterer Fall. Der Inc.-Kolumnist Jason Aten berichtete im September, Muse habe auf seinem Mac 187.000 Zeilen aus seiner Nachrichten-Datenbank synchronisiert, obwohl er den Zugriff verweigert habe. Meta-Manager David Singleton antwortete öffentlich, Aten müsse Festplattenvollzugriff erteilt haben, und nannte später einen Bug als Ursache für Fehlausgaben, „NOT a security or privacy issue“. Atens Antwort fasst das Problem zusammen: Wenn ein Agent private Nachrichten lesen soll, müsse es einen Moment geben, in dem er klar fragt, ob das in Ordnung ist.
Signal-Präsidentin Meredith Whittaker nannte den Start von Muse gegenüber Reuters „technologically reckless“. Sie fordert, dass App-Entwickler ihre Anwendungen technisch als tabu für KI-Agenten markieren können und Betriebssysteme das durchsetzen. Hier liegt der Kern: Heute entscheidet der Agent selbst, welchen Weg er zu den Daten nimmt. Ein Messenger kann Ende-zu-Ende verschlüsseln, so viel er will, wenn der Agent die Nachricht danach aus der Benachrichtigung oder vom Bildschirm liest.
Apple und Google reagieren
Apple und Google prüfen nach Reuters-Angaben Änderungen, die Nutzern mehr Kontrolle über Agenten-Berechtigungen geben. Apple hat für macOS bereits neue Zugriffskontrollen für Festplattenvollzugriff, Bedienungshilfen und App-Steuerung angekündigt. Laut heise kommen sie mit macOS 27.3, das als Beta vorliegt und voraussichtlich im Dezember erscheint. Apple warnt, wer einer App einen derart weitreichenden Zugriff gewähre, gefährde alle Daten auf dem Mac.
Was das für Deutschland bedeutet
Muse ist in der EU nicht verfügbar. Die App läuft derzeit in den USA, Kanada, Japan, Singapur, Mexiko und seit dieser Woche in Australien. Einen Europa-Termin hat Meta nicht genannt. Für deutsche Nutzer ist der Fall trotzdem relevant: Agenten anderer Anbieter, die Bildschirm, Benachrichtigungen und Apps steuern, kommen auch hierzulande auf den Markt. Die Mechanik ist dieselbe. Wer einem Agenten Zugriff auf Benachrichtigungen oder Bedienungshilfen gibt, gibt ihm faktisch Zugriff auf jede App, die dort auftaucht, auch auf verschlüsselte Messenger.
Ein europäischer Start dürfte genau an dieser Frage hängen. Die DSGVO verlangt eine klar bestimmte Einwilligung, keine breit ausgelegte Systemberechtigung. Erst vergangene Woche hat die italienische Datenschutzbehörde Meta wegen einer Facebook-Funktion, die ohne konkrete Einwilligung auf die Fotogalerie zugriff, mit einem Bußgeld von 805 Millionen Euro belegt.
Quellen
📂
Kategorie
KI
Künstliche Intelligenz, große Sprachmodelle, Bildgeneratoren und was sie wirklich können – und was nicht.