Startseite / KI
KI

Googles neue TPUs: Schutz bei der Inferenz, mehr Speicher fürs Modell

Googles neue TPUs: Schutz bei der Inferenz, mehr Speicher fürs Modell
← Alle Beiträge

Google erweitert seine achte TPU-Generation um zwei Systeme mit unterschiedlichen Aufgaben: TPU 8tx soll sensible Daten und Modellgewichte während der KI-Verarbeitung schützen, TPU 8i Max mehr Rechenleistung und Speicherressourcen für große Kontextfenster bereitstellen. Vorgestellt wurden beide nach aktuellem bekanntem Stand am 9. November 2026. Technisch handelt es sich um neue Systemkonfigurationen auf Basis vorhandenen Siliziums.

Damit besteht die Generation aus vier Varianten. Die im April 2026 vorgestellte TPU 8t ist für großskaliges Training ausgelegt, TPU 8i für latenzarmes Reasoning. Die beiden Ergänzungen spezialisieren diese Grundlagen weiter: Bei 8tx stehen die Sicherheitsarchitektur und die Verbindung der Komponenten im Vordergrund, bei 8i Max die Kombination zweier Chips in einem Package. Google verteilt unterschiedliche Anforderungen damit auf eigene Systemvarianten, statt sie mit einer einzigen Konfiguration abzudecken. (Google Cloud Blog: Our newest TPUs: 8tx and 8i Max, built for the agentic era)

Zwei Systemvarianten aus vorhandenem TPU-Silizium
TPU-8t-SiliziumTPU 8txAMD EPYC, 5. GenerationConfidential Computing2 × TPU-8i-Chipin einem PackageTPU 8i Max384 GB HBM · 17,2 TB/s
Schematische Zuordnung der Siliziumbasis zu TPU 8tx und TPU 8i Max. Die Grafik zeigt keine vollständige Hardwaretopologie.

TPU 8tx: Trainingssilizium in einer geschützten Inferenzumgebung

TPU 8tx verwendet dasselbe Silizium wie TPU 8t. Google kombiniert es mit AMD-EPYC-Prozessoren der fünften Generation und einer hardwarebasierten Confidential-Computing-Funktion. Nach Unternehmensangaben bleiben sensible Daten und Modellgewichte damit auch während der aktiven Verarbeitung geschützt und isoliert. Der zugesagte Schutz betrifft also ausdrücklich die Phase, in der das Modell mit den Daten arbeitet.

Für die Kommunikation nutzt 8tx das Boardfly-Netzwerk, das für latenzarmes Reasoning entwickelt wurde. Google nennt gegenüber TPU 8t eine bis zu halbierte Latenz bei nahezu keinem Leistungsverlust. Das ist eine Herstellerangabe, kein unabhängig vermessenes Ergebnis. Sie beschreibt zudem den Vergleich mit dem Trainingssystem 8t, nicht mit allen anderen Inferenzangeboten.

Die Kombination erklärt die Rolle von 8tx im Portfolio: Das Rechensilizium stammt aus der Trainingsvariante, die Netzwerkauslegung orientiert sich an kurzen Antwortzeiten, hinzu kommt die hardwarebasierte Absicherung. Google zielt damit nach eigener Darstellung insbesondere auf regulierte Unternehmen und Behörden.

Allerdings bleibt eine zentrale Schnittstelle unbeschrieben: Die geprüften Veröffentlichungen erläutern nicht im Detail, auf welcher Technik der Schutz beruht. Damit lässt sich aus der Ankündigung allein nicht beurteilen, wie die Sicherheitsgrenzen zwischen Hostprozessor, Beschleuniger und übriger Infrastruktur konkret verlaufen. Die Bezeichnung Confidential Computing ersetzt für eine technische Prüfung keine Beschreibung dieser Grenzen.

Ein Cluster für private Daten und mehrere Arbeitsschritte

Google beschränkt den Einsatz von 8tx nicht auf die Ausführung fertiger Modelle. Das System soll auch Training im kleinen Maßstab, Fine-Tuning mit privaten Daten, Destillation und Reinforcement-Learning-Training unterstützen. Nach Darstellung des Unternehmens lassen sich solche Aufgaben erledigen, ohne sensible Daten zwischen getrennten Clustern zu verschieben.

Der praktische Zusammenhang liegt im Wechsel zwischen diesen Arbeitsschritten. Ein Unternehmen könnte private Daten zur Anpassung eines Modells verwenden und das angepasste Modell anschließend in derselben geschützten Umgebung betreiben. Das wäre ein möglicher organisatorischer Vorteil gegenüber getrennten Infrastrukturen für Anpassung und Inferenz. Ob er sich tatsächlich ergibt, hängt allerdings von der jeweiligen Anwendung und den noch nicht offengelegten Sicherheitsdetails ab.

Für regulierte Nutzer ist deshalb die hardwarebasierte Schutzfunktion nur ein Teil der Bewertung. Aus der Produktankündigung folgt weder eine bestimmte regulatorische Eignung noch, dass jede Verarbeitungskette vollständig innerhalb derselben Schutzgrenze bleibt.

TPU 8i Max: Zwei Chips, mehr Bandbreite, begrenzter Kapazitätssprung

TPU 8i Max setzt an einem anderen Teil der Architektur an. Google kombiniert zwei TPU-8i-Chips in einem einzigen Package. Gegenüber TPU 8i verdoppeln sich nach Unternehmensangaben die Rechenleistung, der On-Chip-SRAM und die Bandbreite zum HBM-Speicher. Im bestehenden Rack-Footprint steckt damit doppelt so viel Silizium. Google verbindet das mit dem Anspruch, mehr Rechenleistung pro Fläche und pro Watt bereitzustellen.

Die konkreten Speicherwerte nannte Google-Cloud-Manager Mark Lohmeyer in einem Briefing: 384 Gigabyte HBM, 17,2 Terabyte pro Sekunde Speicherbandbreite und 768 Megabyte On-Chip-SRAM. Die HBM-Kapazität steigt demnach gegenüber TPU 8i um 33 Prozent. Sie verdoppelt sich also nicht zusammen mit Rechenleistung, SRAM und HBM-Bandbreite. (Network World: Google targets AI's next infrastructure bottlenecks with two new TPUs)

Diese Unterscheidung ist für die Einordnung großer Kontextfenster wichtig. Speicherkapazität beschreibt, wie viel Daten untergebracht werden können; Bandbreite, wie schnell sich Daten bewegen lassen. Die angekündigte Konfiguration erhöht beide Ressourcen, aber in unterschiedlichem Maß. Aus der doppelten Rechenleistung lässt sich deshalb keine Verdopplung der möglichen Kontextlänge ableiten.

Eine konkrete maximale Kontextlänge nennt Google für das neue System in den vorliegenden Angaben nicht. „Für große Kontextfenster“ beschreibt somit zunächst die Ausrichtung der Hardware. Welche Kontextlänge ein bestimmtes Modell praktisch erreicht und mit welcher Antwortzeit, bleibt offen. Auch die Aussagen zur höheren Effizienz pro Watt sind bislang nicht durch unabhängige Messungen belegt.

TPU Sync verbindet die Verarbeitungsschritte

Parallel zur Hardware hat Google TPU Sync angekündigt, eine Open-Source-Schicht für den Modellzustand. Sie soll KV-Caches innerhalb von Millisekunden vom Chip auslagern und Kontext zwischen getrennten Prefill- und Decode-Knoten streamen. Damit adressiert Google auch den Datenfluss zwischen den Verarbeitungsschritten: den Aufbau des Kontexts und die anschließende schrittweise Ausgabe.

Google beziffert die mögliche Verringerung der Zeit bis zum ersten ausgegebenen Token auf mehr als 90 Prozent. Auch dieser Wert ist eine Unternehmensangabe und kein allgemeines Leistungsversprechen für beliebige Modelle. Laut Network World ist die Software außerdem für die TPU-Generationen v5, v6 und v7 verfügbar. Die neue Verwaltung des Modellzustands ist damit nicht ausschließlich an die beiden neuen Systeme gebunden.

Zusammen ergeben sich drei technische Ansatzpunkte: geschützte Verarbeitung bei 8tx, mehr lokale Rechen- und Speicherressourcen bei 8i Max sowie der Transport von Kontextzustand durch TPU Sync. Für eine Beschaffungsentscheidung fehlen jedoch wesentliche Angaben. Google nennt weder Preise noch einen Verfügbarkeitstermin für die beiden Systeme. Auch ob und wann sie in deutschen oder anderen europäischen Cloud-Regionen angeboten werden, geht aus den Veröffentlichungen nicht hervor.

J

Über den Autor

Jens Könnig

Jens analysiert seit Jahren digitale Märkte, Preisbewegungen und Plattform-Strategien. Als Betreiber mehrerer datengetriebener Systeme wertet er täglich große Mengen an Produkt- und Trenddaten aus. Sein Fokus liegt auf Einordnung statt Hype: Was bedeutet eine Entwicklung wirklich für Nutzer, Preise und Märkte?

Alle Artikel von Jens Könnig →