Ing. Calogero Bono
Google zaprezentowało TPU 8tx i TPU 8i Max, dwa nowe systemy, które uzupełniają rodzinę akceleratorów ósmej generacji. Dołączają do TPU 8t i 8i, pokazanych w kwietniu podczas Cloud Next. Według Google to po raz pierwszy firma wprowadza cztery systemy TPU w ciągu jednego roku. Celem są agenci AI, którzy przetwarzają więcej danych i wykonują więcej kroków, oraz firmy, które potrzebują lepszej ochrony wrażliwych danych.
Kilka pojęć, zanim przejdziemy do faktów. TPU to procesor, który Google projektuje do sztucznej inteligencji. Wnioskowanie (inferencja) to etap, w którym wytrenowany model odpowiada na zapytania. Okno kontekstu to ilość tekstu, jaką model może uwzględnić jednocześnie. Confidential computing chroni dane także wtedy, gdy są przetwarzane w pamięci. HBM i SRAM to rodzaje szybkiej pamięci umieszczonej blisko układu.
Co zaprezentowało Google?
W oficjalnym wpisie Google nowościami są dwa systemy. TPU 8tx jest przeznaczony do bezpiecznego i poufnego wnioskowania, a także do trenowania na małą skalę. TPU 8i Max został zaprojektowany z myślą o bardzo dużych oknach kontekstu i maksymalnej gęstości obliczeń na szafę.
W kwietniu pojawiły się TPU 8t, do trenowania na dużą skalę, oraz TPU 8i, do rozumowania w czasie rzeczywistym. Google deklaruje do 2,7 razy większą wydajność w trenowaniu i o 80% lepszy stosunek ceny do wydajności we wnioskowaniu względem poprzedniej generacji. Wiadomość podchwyciło też HDblog.
Jak działa TPU 8tx i komu jest potrzebny?
Zazwyczaj dane są szyfrowane podczas przechowywania lub przesyłu w sieci, ale w trakcie przetwarzania muszą zostać odszyfrowane w pamięci. Google wyjaśnia, że TPU 8tx przenosi ochronę na poziom sprzętowy, dzięki czemu wrażliwe dane i wagi modelu pozostają odizolowane także w trakcie działania. Wykorzystuje ten sam krzem co TPU 8t, połączony z hostami opartymi na procesorach AMD EPYC piątej generacji.
Korzysta też z sieci Boardfly o niskim opóźnieniu z TPU 8i. Według Google opóźnienie spada nawet dwukrotnie w porównaniu z TPU 8t, przy niemal zerowej utracie wydajności. Grupą docelową są firmy regulowane i rządy.
Na tym samym systemie można trenować i dostosowywać modele, na przykład robiąc fine-tuning na prywatnych danych, bez przenoszenia danych między różnymi klastrami.
Czym jest TPU 8i Max i jaki problem rozwiązuje?
Google wiąże go z tzw. ścianą pamięci. Gdy dziesiątki agentów pracują jednocześnie nad całym kodem źródłowym lub nad godzinami wideo, przepustowość pamięci staje się wąskim gardłem. Zadeklarowanym rozwiązaniem jest połączenie dwóch chipów TPU 8i w jednym pakiecie.
Według Google efektem jest dwukrotnie większe obliczenie, pamięć SRAM i przepustowość HBM w porównaniu z TPU 8i. Skoro w tej samej szafie mieści się dwa razy więcej krzemu, centra danych mogą zapewnić więcej mocy na metr kwadratowy i na wat. Temat infrastruktury jest ten sam co w przypadku centrum danych Crusoe w Wyoming, przejętego przez Google.
Co zmienia się dla programistów?
Google kładzie nacisk na dostępność. W zeszłym miesiącu wydało jako open source TorchTPU, dzięki czemu kod PyTorch i modele Hugging Face działają natywnie na TPU, bez przepisywania kodu. Są backendy dla silników wnioskowania, takich jak vLLM i SGLang.
Zestaw agentów dla TPU w wersji zapoznawczej łączy się z narzędziami takimi jak Claude Code, Cursor i Google Antigravity, aby automatyzować uruchamianie i diagnozować wąskie gardła. Open source XLA Serving Engine pozwala trenować w Pythonie i obsługiwać model w środowisku uruchomieniowym C++ na TPU, GPU i CPU.
W testach InferenceX i AgentX Google deklaruje wyniki na najwyższym poziomie w stosunku ceny do wydajności dzięki swojemu stosowi vLLM-TorchTPU. To dane podane przez firmę. Osoby tworzące na modelach mogą zacząć od naszego przewodnika po Gemini API.
Ograniczenia, o których warto wiedzieć
Liczby dotyczące wydajności, opóźnień i stosunku ceny do wydajności to deklaracje Google, bez niezależnej weryfikacji. W dostępnych nam źródłach brak cen, dostępności w regionach i dat premiery obu nowych systemów. Oficjalny tekst, który otrzymaliśmy, jest ucięty, więc niektórych części, jak zarządzanie bezczynnością agentów, nie da się ocenić. Obiecane aktualizacje oprogramowania mogą zmienić wyniki.
Co zmienia się dla osób pracujących z technologią cyfrową
Dla prawie wszystkich polskich firm nic natychmiastowego, bo TPU używa się przez chmurę Google. Sygnał dotyczy przede wszystkim tych, którzy obsługują dane wrażliwe, na przykład w medycynie czy finansach. Wnioskowanie chronione także w pamięci może ułatwić uruchomienie agenta na danych poufnych. Programiści pracujący w PyTorch znajdą krótszą drogę do wypróbowania tych maszyn bez przepisywania kodu. Warto jednak porównać rzeczywiste koszty z kosztami GPU. Jeśli już korzystasz z linii Gemini Google, te maszyny są fundamentem, na którym ona działa.
Nasza opinia
Ruch jest spójny. Google nie szuka tylko najszybszego chipa, lecz sprzedaje systemy dopasowane do każdego etapu pracy. Poufność podczas działania to mocny argument, bo hamuje wiele firm przed powierzaniem danych agentom. To jednak nadal zamknięty ekosystem, a korzyści zależą od liczb podanych przez Google. Zanim się entuzjazmować, potrzebne są ceny i niezależne testy. Warto też śledzić kwestie regulacyjne, o których przypomina nasz przewodnik po AI Act dla programistów.
Najczęstsze pytania
Czym różni się TPU 8tx od TPU 8t?
TPU 8tx korzysta z tego samego krzemu co TPU 8t, ale jest zoptymalizowany pod kątem bezpiecznego wnioskowania. Ma sieć o niskich opóźnieniach z TPU 8i oraz sprzętową ochronę danych w trakcie przetwarzania. TPU 8t pozostaje systemem do trenowania na dużą skalę.
Co TPU 8i Max dodaje do TPU 8i?
Podwaja zasoby. Według Google łączy dwa chipy TPU 8i w jednym pakiecie, z podwójnym obliczeniem, podwójną pamięcią SRAM i podwójną przepustowością HBM. Służy do bardzo dużych kontekstów.
Czy mogę używać TPU z moim kodem PyTorch?
Tak, według Google. TorchTPU jest open source i natywnie uruchamia kod PyTorch oraz modele Hugging Face na TPU, bez przepisywania kodu.
Ile systemów TPU zaprezentowało Google w tym roku?
Cztery systemy ósmej generacji. To TPU 8t i 8i, pokazane w kwietniu, oraz TPU 8tx i 8i Max. Google twierdzi, że w ciągu jednego roku nigdy wcześniej tego nie robiło.
Ilu klientów korzysta z TPU?
Prawie 100, według Google. Wśród nich są laboratoria z czołówki, firmy handlowe, resellerzy i uniwersytety.
Ceny, niezależne testy i dane wrażliwe, na co zwracać uwagę w najbliższych miesiącach
Wartość tych systemów będzie widoczna poza komunikatami prasowymi. Liczą się dostępność, koszty i zewnętrzne weryfikacje.
- Sprawdź, kiedy i gdzie TPU 8tx oraz 8i Max staną się dostępne w chmurze i w jakiej cenie.
- Szukaj niezależnych testów benchmarków InferenceX i AgentX, a nie tylko danych Google.
- Jeśli przetwarzasz dane poufne, zastanów się z doradcą, jakie gwarancje confidential computing są naprawdę potrzebne.
