Mit Soofi S 30B-A3B erscheint ein neues vollständig offenes Grundmodell für Deutsch und Englisch. Das Modell wurde auf rund 27 Billionen Tokens trainiert und verbindet eine Mixture-of-Experts-Architektur mit Mamba- und Transformer-Komponenten.
Der nun veröffentlichte Pretraining-Technikbericht dokumentiert nicht nur die Architektur und das Training, sondern auch die verwendeten Datenquellen, Hyperparameter, Checkpoints sowie den Trainings- und Evaluationscode. Das Projekt positioniert Soofi S damit bewusst als Gegenentwurf zu Modellen, bei denen lediglich die fertigen Gewichte verfügbar sind.
30 Milliarden Parameter, drei Milliarden gleichzeitig aktiv
Soofi S verfügt über insgesamt rund 30 Milliarden Parameter. Pro verarbeitetem Token werden davon jedoch nur etwa drei Milliarden aktiviert. Möglich wird das durch die Mixture-of-Experts-Architektur, bei der nur ausgewählte Modellbereiche für die jeweilige Eingabe genutzt werden.
Dieser Ansatz soll die Kapazität eines großen Modells mit einem geringeren Rechenaufwand bei der Ausführung verbinden. Statt sämtliche Parameter bei jeder Anfrage zu verwenden, verteilt das Modell die Verarbeitung auf spezialisierte Teilbereiche.
Soofi S kombiniert dieses Prinzip mit einer Hybridarchitektur aus Mamba und klassischen Transformer-Blöcken. Mamba-Komponenten sollen insbesondere bei langen Eingabesequenzen effizienter arbeiten und den Speicherbedarf weniger stark anwachsen lassen als reine Full-Attention-Modelle.
Fokus auf lange Kontexte und hohen Durchsatz
Ein zentraler Schwerpunkt des Modells liegt auf der Verarbeitung langer Kontexte. Laut Technikbericht behält Soofi S auch bei wachsenden Eingabelängen hohe Durchsatzraten und soll damit effizienter skalieren als vergleichbare dichte Modelle mit vollständiger Attention.
Für den Leistungsvergleich verwendet das Projekt einen Capability Index. Dieser setzt sich aus fünf Benchmark-Gruppen zusammen: Programmierung, GSM8K, GPQA-Diamond sowie aggregierten Auswertungen für Englisch und Deutsch.
Jede Gruppe wird zunächst auf das jeweils beste dargestellte Modell normalisiert. Anschließend fließen die fünf Werte gemeinsam in den Index ein. Soofi S erreicht nach Angaben des Projektteams dabei die stärksten aggregierten Ergebnisse unter den untersuchten vollständig offenen Modellen für Deutsch und Englisch.
Im Vergleich werden unter anderem OLMo 3 32B und Apertus 70B genannt. Die Ergebnisse beruhen jedoch auf der vom Soofi-Team gewählten Modellauswahl und Methodik. Unabhängige Tests müssen noch zeigen, wie gut sich die Resultate außerhalb dieser Auswertung bestätigen lassen.
Hohe Geschwindigkeit auf einer einzelnen B200-GPU
Neben der Modellqualität untersucht der Bericht auch den Dekodierdurchsatz bei langen Kontexten. Gemessen wurde die Zahl der ausgegebenen Tokens pro Sekunde und GPU bei einem Kontext von 40.000 Tokens und einer Batch-Größe von 32.
Nach Angaben des Projekts erreicht Soofi S in diesem Szenario den höchsten aggregierten Langkontext-Durchsatz der verglichenen Modelle. Die Messungen wurden mit vLLM auf einer einzelnen Nvidia-B200-GPU und Tensor Parallelism 1 durchgeführt.
Gerade für den praktischen Betrieb kann dieser Wert entscheidend sein. Ein Modell, das lange Dokumente verarbeiten und gleichzeitig viele Anfragen bedienen kann, benötigt potenziell weniger Hardware als ein ähnlich leistungsfähiges Modell mit höherem Speicher- und Rechenbedarf.
Deutsch wurde im Training bewusst aufgewertet
Soofi S wurde als zweisprachiges Grundmodell für Deutsch und Englisch entwickelt. Da englische Trainingsdaten in wesentlich größerer Menge verfügbar sind, wurde der deutsche Anteil innerhalb der Datenmischung gezielt stärker gewichtet.
Damit soll verhindert werden, dass Deutsch im Training trotz einer großen Datenbasis nur eine Nebenrolle spielt. Das Modell richtet sich dadurch insbesondere an Anwendungen, bei denen eine gute deutsche Sprachverarbeitung ebenso wichtig ist wie englische Fähigkeiten.
Für Unternehmen, Behörden und Forschungseinrichtungen könnte dies relevant sein, da viele internationale Modelle zwar grundsätzlich Deutsch beherrschen, ihre stärksten Fähigkeiten aber weiterhin im Englischen zeigen.
Training vollständig in München
Das Modell wurde vollständig auf der Industrial AI Cloud der Deutschen Telekom in München trainiert. Das Projekt betont damit nicht nur die Offenheit des Modells, sondern auch den Aufbau und Betrieb auf deutscher Infrastruktur.
Dieser Punkt spielt vor allem in der Diskussion über europäische KI-Souveränität eine Rolle. Modelltraining, Infrastruktur und wesentliche Teile der Entwicklung bleiben innerhalb Deutschlands beziehungsweise Europas kontrollierbar.
Vollständige technologische Unabhängigkeit entsteht dadurch allerdings nicht. Auch eine europäische KI-Infrastruktur ist weiterhin auf spezialisierte Prozessoren und Hardware internationaler Hersteller angewiesen.
Offenheit über die Modellgewichte hinaus
Soofi S soll nicht nur als fertiges Modell veröffentlicht werden. Das Projekt stellt nach eigenen Angaben auch den Trainings- und Evaluationscode, sämtliche Hyperparameter, Checkpoints und eine detaillierte Datenaufstellung bereit.
Die Trainingsdaten werden nach Quellen und Anteilen dokumentiert. Wo es die jeweiligen Lizenzen erlauben, sollen zudem die Werkzeuge zur Aufbereitung und Zusammenstellung der Datensätze verfügbar sein.
Damit verfolgt das Projekt einen weitergehenden Ansatz als viele sogenannte Open-Weight-Modelle. Bei diesen können Nutzer zwar die Modellgewichte herunterladen, erhalten jedoch häufig nur wenige Informationen über Trainingsdaten, Filterung und Entstehungsprozess.
Noch kein fertiger KI-Assistent
Soofi S ist zunächst ein vortrainiertes Grundmodell. Es bildet damit die technische Basis für weitere Anpassungen, ist aber noch nicht automatisch als fertiger Chatbot oder produktiver Assistent geeignet.
Für den Einsatz in konkreten Anwendungen sind zusätzliche Trainingsschritte notwendig. Dazu gehören beispielsweise die Abstimmung auf Dialoge, Werkzeugnutzung, bestimmte Fachgebiete oder interne Unternehmensdaten.
Gerade diese Rolle als offene Grundlage könnte jedoch interessant sein. Unternehmen und Forschungseinrichtungen erhalten ein Modell, das sie auf eigener Infrastruktur weiterentwickeln und an spezifische Anforderungen anpassen können.
Ein relevanter Baustein für offene europäische KI
Soofi S ist nicht automatisch das leistungsfähigste offene Modell insgesamt. Die veröffentlichten Spitzenwerte beziehen sich auf die vom Projekt ausgewählten vollständig offenen Vergleichsmodelle und die eigene aggregierte Bewertungsmethode.
Der eigentliche Fortschritt liegt deshalb weniger in einer einzelnen Benchmark-Platzierung. Entscheidend ist die Kombination aus starker deutscher Sprachabdeckung, effizienter Langkontextverarbeitung, transparenter Dokumentation und Training auf deutscher Infrastruktur.
Soofi S zeigt damit, dass ein konkurrenzfähiges deutsch-englisches Grundmodell auch außerhalb der großen US-amerikanischen und chinesischen KI-Plattformen entwickelt werden kann. Ob es sich in realen Anwendungen behauptet, müssen nun unabhängige Tests und die weitere Nutzung durch Entwickler zeigen.
