Ing. Calogero Bono
Google hat TPU 8tx und TPU 8i Max vorgestellt, zwei neue Systeme, die die Familie der Beschleuniger der achten Generation ergänzen. Sie kommen zu TPU 8t und 8i hinzu, die im April auf der Cloud Next gezeigt wurden. Laut Google ist es das erste Mal, dass das Unternehmen vier TPU-Systeme in einem einzigen Jahr einführt. Ziel sind KI-Agenten, die mehr Daten verarbeiten und über mehrere Schritte arbeiten, sowie Firmen, die sensible Daten besser schützen wollen.
Ein paar Begriffe, bevor wir zu den Fakten kommen. TPU ist der Prozessor, den Google für künstliche Intelligenz entwickelt. Inferenz ist die Phase, in der ein bereits trainiertes Modell auf Anfragen antwortet. Kontextfenster ist die Textmenge, die ein Modell auf einmal berücksichtigen kann. Confidential Computing schützt Daten auch dann, wenn sie im Speicher verarbeitet werden. HBM und SRAM sind schnelle Speichertypen direkt neben dem Chip.
Was hat Google vorgestellt?
Im offiziellen Beitrag von Google sind es zwei Neuheiten. TPU 8tx ist für sichere und vertrauliche Inferenz gedacht und eignet sich auch für Training im kleineren Maßstab. TPU 8i Max richtet sich dagegen auf sehr große Kontextfenster und die höchste Rechendichte pro Rack.
Im April waren bereits TPU 8t für das Training im großen Maßstab und TPU 8i für Echtzeit-Schlussfolgerungen erschienen. Google gibt bis zu 2,7-mal höhere Leistung beim Training und 80 Prozent bessere Preis-Leistung bei der Inferenz gegenüber der Vorgängergeneration an. Berichtet hat auch HDblog.
Wie funktioniert TPU 8tx und für wen ist es gedacht?
Daten sind meist verschlüsselt, wenn sie gespeichert werden oder im Netz unterwegs sind, müssen aber im Speicher entschlüsselt werden, um verarbeitet zu werden. Google erklärt, dass TPU 8tx den Schutz auf die Hardwareebene bringt, sodass sensible Daten und Modellgewichte auch während der Nutzung isoliert bleiben. Es nutzt dasselbe Silizium wie TPU 8t, kombiniert mit Hosts mit AMD-EPYC-CPUs der fünften Generation.
Außerdem übernimmt es das Boardfly-Netzwerk mit niedriger Latenz von TPU 8i. Laut Google sinkt die Latenz im Vergleich zu TPU 8t um bis zu den Faktor 2, bei nahezu keinem Leistungsverlust. Zielgruppe sind regulierte Unternehmen und Behörden.
Auf demselben System lässt sich trainieren und anpassen, etwa per Fine-Tuning auf privaten Daten, ohne die Daten zwischen verschiedenen Clustern zu verschieben.
Was ist TPU 8i Max und welches Problem löst es?
Google verbindet es mit dem sogenannten Speicherwand-Problem. Wenn Dutzende Agenten gemeinsam einen ganzen Quellcode oder stundenlange Videos bearbeiten, wird die Speicherbandbreite zum Engpass. Die angegebene Lösung ist, zwei TPU-8i-Chips in einem einzigen Package zu vereinen.
Das Ergebnis ist laut Google die doppelte Rechenleistung, doppelter SRAM und doppelte HBM-Bandbreite im Vergleich zu TPU 8i. Da im selben Rack die doppelte Menge Silizium Platz findet, können Rechenzentren mehr Leistung pro Quadratmeter und pro Watt unterbringen. Das Thema Infrastruktur ist dasselbe wie beim Rechenzentrum von Crusoe in Wyoming, das Google übernommen hat.
Was ändert sich für Entwickler?
Google betont die Zugänglichkeit. Letzten Monat hat das Unternehmen TorchTPU als Open Source veröffentlicht, sodass PyTorch-Code und Hugging-Face-Modelle nativ auf TPUs laufen, ohne Umschreiben. Es gibt Backends für Inferenz-Engines wie vLLM und SGLang.
Eine Agenten-Suite für TPUs befindet sich in der Vorschau und lässt sich mit Werkzeugen wie Claude Code, Cursor und Google Antigravity verbinden, um den Start zu automatisieren und Engpässe zu diagnostizieren. Eine Open-Source-XLA-Serving-Engine erlaubt es, in Python zu trainieren und in einer C++-Laufzeitumgebung auf TPUs, GPUs und CPUs auszuliefern.
In den Benchmarks InferenceX und AgentX meldet Google Preis-Leistungs-Ergebnisse auf dem neuesten Stand der Technik mit seinem Stack aus vLLM und TorchTPU. Das sind Angaben des Unternehmens. Wer mit den Modellen arbeitet, kann mit unserem Leitfaden zur Gemini API beginnen.
Grenzen, die du kennen solltest
Die Angaben zu Leistung, Latenz und Preis-Leistung stammen von Google und sind nicht unabhängig überprüft. In den Quellen, die wir haben, fehlen Preise, Verfügbarkeit nach Region und Erscheinungstermine der beiden neuen Systeme. Der offizielle Text, den wir erhalten haben, ist abgeschnitten, deshalb lassen sich einige Teile, etwa der Umgang mit inaktiven Agenten, nicht bewerten. Die versprochenen Software-Updates könnten die Ergebnisse verändern.
Was sich für alle ändert, die digital arbeiten
Für fast alle Unternehmen im deutschsprachigen Raum ändert sich zunächst nichts, denn TPUs nutzt man über die Google Cloud. Das Signal betrifft vor allem Firmen mit sensiblen Daten, etwa im Gesundheitswesen oder im Finanzbereich. Eine Inferenz, die auch im Speicher geschützt ist, kann es erleichtern, einen Agenten auf vertrauliche Daten zu bringen. Wer Software mit PyTorch entwickelt, findet einen kürzeren Weg, diese Maschinen auszuprobieren, ohne den Code umzuschreiben. Du solltest die realen Kosten aber mit denen von GPUs vergleichen. Wenn du bereits die Gemini-Reihe von Google nutzt, laufen diese Maschinen im Hintergrund.
Unsere Einschätzung
Der Schritt ist stimmig. Google sucht nicht nur den schnellsten Chip, sondern verkauft Systeme, die auf jede Phase der Arbeit zugeschnitten sind. Der Schutz der Daten während der Nutzung ist ein starkes Argument, weil er viele Firmen davon abhält, Daten an Agenten zu übergeben. Trotzdem bleibt es ein geschlossenes Ökosystem, und die Vorteile hängen von Googles eigenen Zahlen ab. Bevor man begeistert ist, braucht es Preise und unabhängige Tests. Im Auge behalten sollte man auch die Regulierung, an die unser Leitfaden zum AI Act für Entwickler erinnert.
Häufige Fragen
Worin unterscheidet sich TPU 8tx von TPU 8t?
TPU 8tx nutzt dasselbe Silizium wie TPU 8t, ist aber für vertrauliche Inferenz optimiert. Es hat das Netzwerk mit niedriger Latenz von TPU 8i und einen Hardwareschutz für Daten während der Nutzung. TPU 8t bleibt das System für das Training im großen Maßstab.
Was bietet TPU 8i Max zusätzlich zu TPU 8i?
Es verdoppelt die Ressourcen. Laut Google werden zwei TPU-8i-Chips in einem Package kombiniert, mit doppelter Rechenleistung, doppeltem SRAM und doppelter HBM-Bandbreite. Es dient für sehr große Kontexte.
Kann ich TPUs mit meinem PyTorch-Code nutzen?
Ja, laut Google. TorchTPU ist Open Source und lässt PyTorch-Code und Hugging-Face-Modelle nativ auf TPUs laufen, ohne dass du den Code umschreiben musst.
Wie viele TPUs hat Google dieses Jahr vorgestellt?
Vier Systeme der achten Generation. Es sind TPU 8t und 8i, die im April gezeigt wurden, dazu TPU 8tx und 8i Max. Google sagt, dass das in einem Jahr noch nie vorgekommen ist.
Wie viele Kunden nutzen TPUs?
Laut Google fast 100. Darunter sind Frontier-Labore, Handelsfirmen, Wiederverkäufer und Universitäten.
Preise, unabhängige Tests und sensible Daten, worauf du in den nächsten Monaten achten solltest
Der Wert dieser Systeme wird sich jenseits der Pressemitteilungen zeigen. Entscheidend sind Verfügbarkeit, Kosten und externe Überprüfungen.
- Prüfe, wann und wo TPU 8tx und 8i Max in der Cloud verfügbar werden und zu welchem Preis.
- Suche nach unabhängigen Tests der Benchmarks InferenceX und AgentX, nicht nur nach Googles eigenen Zahlen.
- Wenn du vertrauliche Daten verarbeitest, kläre mit deiner Beratung, welche Garantien des Confidential Computing wirklich nötig sind.
