Die bearbeiteten Gewichte blieben praktisch unverändert. Trotzdem verlor die Korrektur nach 20 Schritten weiteren Trainings ihre Wirkung. Dieser Befund aus einem öffentlichen Experiment von Kevin Bondzio zeigt eine technische Schwierigkeit direkter Eingriffe in KI-Modelle: Ein Patch hängt auch davon ab, welche Signale andere Teile des Netzes an ihn liefern.
Untersucht wurde unter anderem Gemma-3-4B. Ein gezielt umverdrahtetes Neuron sollte verhindern, dass das Modell Biografien zu erfundenen Personen fabriziert. Laut Bondzios Auswertung sank die entsprechende Fehlerrate auf einem zurückgehaltenen Testsatz von 98 auf 16 Prozent. Nach einem anschließenden Fine-Tuning lag sie wieder bei 98 Prozent. Der Eingriff war noch vorhanden, seine Funktion im veränderten Modell jedoch verloren gegangen.
Was ein direkter Gewichtspatch verändert
Gewichte bestimmen, wie ein neuronales Netz eingehende Signale verarbeitet und weitergibt. Beim üblichen Training werden sie durch ein Optimierungsverfahren angepasst. Der hier untersuchte Ansatz setzt unmittelbar an ausgewählten Gewichten an: Eine gezielte Änderung soll ein bestimmtes Fehlverhalten korrigieren, ohne dafür einen weiteren Trainingslauf zur Erzeugung des Patches zu benötigen.
Das Experiment beschreibt vier Fehlerklassen: erfundene Biografien, Prompt-Injection bei Tool-Aufrufen, wiederkehrende Abschiedsfloskeln sowie Whisper-Transkriptionen bei Stille oder Nicht-Sprache. Für die Frage nach der Beständigkeit ist der Biografie-Test besonders aufschlussreich, weil der Bericht die Wirkung sowohl unmittelbar nach dem Eingriff als auch nach weiterem Training untersucht.
Im ersten Zustand erscheint die Korrektur eng begrenzt. Neben der deutlich niedrigeren Fabrikationsrate blieben laut Auswertung 98 Prozent der gewöhnlichen Chat-Ausgaben byte-identisch. Das ist ein konkreter Vergleich auf den geprüften Eingaben: Die Antworten waren dort nicht bloß ähnlich, sondern exakt gleich. Daraus folgt allerdings weder Fehlerfreiheit auf beliebigen anderen Aufgaben noch eine allgemeine Garantie gegen Nebenwirkungen.
Auch die verbleibenden 16 Prozent gehören zum Ergebnis. Der Patch beseitigte das untersuchte Verhalten nicht vollständig. Er reduzierte es in diesem Testsatz erheblich. Für die technische Bewertung sind beide Beobachtungen relevant: die lokale Wirksamkeit und die begrenzte Veränderung der zusätzlich geprüften Ausgaben.
Die Schnittstelle liegt vor dem editierten Neuron
Ein Neuron arbeitet nicht isoliert. Seine Wirkung hängt davon ab, welche Aktivierungen es aus vorgelagerten Berechnungen erhält. Eine gezielte Änderung kann deshalb nur dann wie vorgesehen greifen, wenn das übrige Modell weiterhin ein passendes Signal liefert. Genau an dieser Abhängigkeit setzt Bondzios Erklärung für den späteren Wirkungsverlust an.
Gleicher Patch, veränderte Eingangsbedingungen
Schematische Gegenüberstellung des im Gemma-Test beschriebenen Mechanismus: Vor dem Nachtraining erhält das editierte Neuron das passende Signal. Danach fehlt dieses Signal, obwohl die direkt bearbeiteten Gewichte praktisch unverändert bleiben.
Nach Darstellung des Berichts blieben die unmittelbar bearbeiteten Gewichte beim Nachtraining praktisch unverändert. Veränderungen in den darunterliegenden Schichten führten jedoch dazu, dass das editierte Neuron sein zuvor genutztes Signal nicht mehr erhielt. Der Patch musste also nicht überschrieben werden, um unwirksam zu werden. Es genügte, dass sich seine Eingangsbedingungen verschoben.
Der konkrete Test bestand aus 20 Fine-Tuning-Schritten der letzten vier Schichten auf gewöhnlichen Chatdaten. Danach stieg die Fabrikationsrate von 16 zurück auf 98 Prozent. Diese Zahlen und die Erklärung des Mechanismus stammen aus dem Projektbericht; sie sind hier keine unabhängig reproduzierten Messergebnisse. (Weight-Space Programming, Tested)
Damit wird auch die Grenze einer rein lokalen Prüfung sichtbar. Ein Vergleich der bearbeiteten Gewichte vor und nach dem Training hätte den entscheidenden Funktionsverlust nicht erfasst. Für die Bewertung zählt zusätzlich, ob das veränderte Gesamtsystem den Patch noch auf dieselbe Weise nutzt. Unveränderte Parameter sind in diesem Fall kein Nachweis unveränderter Funktion.
Lokale Fehlerkorrektur ist ein eigenes Verfahren
Die Idee, einzelne Modellfehler durch kleine Eingriffe zu korrigieren, hat Vorläufer. Der Fachbeitrag zu Transformer-Patcher untersucht das Hinzufügen weniger trainierter Neuronen zur letzten Feed-Forward-Schicht. Dort werden die ergänzten Patches trainiert. Bondzios aktueller Test beschreibt dagegen einen direkten, trainingsfreien Gewichtseingriff. Beide Ansätze zielen auf lokale Korrekturen, setzen technisch aber unterschiedlich an. (Transformer-Patcher: One Mistake worth One Neuron)
Diese Unterscheidung verhindert, dass verschiedene Verfahren unter dem Begriff „Gewichte programmieren“ zusammenfallen. Ein zusätzlich trainierter Patch, eine direkte Änderung bestehender Gewichte und die anschließende Weiterentwicklung des gesamten Modells stellen unterschiedliche Anforderungen. Ein Ergebnis in einer dieser Konfigurationen lässt sich nicht ohne Weiteres auf die anderen übertragen.
Bondzio grenzt seinen Befund entsprechend ein: Gezeigt wird ein Patch für ein eingefrorenes Modell. Eine belastbare Demonstration rekursiver Selbstverbesserung während fortgesetzten Trainings ergibt sich daraus nicht. Eine Korrektur herzustellen und sie durch spätere Änderungen des Netzes hindurch zu erhalten, sind zwei getrennte technische Aufgaben.
Was nach einem Modellupdate erneut geprüft werden müsste
Für einen möglichen praktischen Einsatz legt der Versuch eine konkrete Prüfanforderung nahe. Wird ein gepatchtes Modell weitertrainiert, müsste anschließend erneut getestet werden, ob die korrigierte Fehlerklasse weiterhin unterdrückt wird. Die bloße Kontrolle, dass die direkt editierten Gewichte erhalten geblieben sind, würde nach diesem Befund nicht ausreichen.
Daraus folgt kein allgemeines Ablaufdatum von 20 Trainingsschritten. Diese Zahl gehört zu einem bestimmten Patch in Gemma-3-4B, einer bestimmten Schichtauswahl und bestimmten Trainingsdaten. Ob andere Modellfamilien, Trainingsziele oder Eingriffsmethoden robuster wären, beantworten die geprüften Ergebnisse nicht. Ebenso offen bleibt, ob gemeinsames Training oder Regularisierung die Korrektur dauerhaft erhalten könnten.
Der technische Ertrag des Versuchs liegt damit in einer klaren Trennung: Die unmittelbare Wirkung eines Gewichtseingriffs lässt sich messen. Seine Beständigkeit unter weiterem Training muss gesondert nachgewiesen werden. Im untersuchten Gemma-Fall scheiterte diese zweite Prüfung, obwohl der lokale Eingriff selbst erhalten blieb.
Jens analysiert seit Jahren digitale Märkte, Preisbewegungen und Plattform-Strategien. Als Betreiber mehrerer datengetriebener Systeme wertet er täglich große Mengen an Produkt- und Trenddaten aus. Sein Fokus liegt auf Einordnung statt Hype: Was bedeutet eine Entwicklung wirklich für Nutzer, Preise und Märkte?
