Ing. Calogero Bono
Google ha presentato TPU 8tx e TPU 8i Max, due nuovi sistemi che completano la famiglia di acceleratori di ottava generazione. Si aggiungono a TPU 8t e 8i, mostrati ad aprile durante Cloud Next. Secondo Google è la prima volta che introduce quattro sistemi TPU in un solo anno. Il bersaglio sono gli agenti AI, che gestiscono più dati e lavorano per più passaggi, e le aziende che chiedono più protezione per i dati sensibili.
Qualche termine, prima di entrare nei fatti. TPU è il processore che Google progetta per l'intelligenza artificiale. Inferenza è la fase in cui un modello già addestrato risponde alle richieste. Finestra di contesto è la quantità di testo che un modello può considerare in una volta. Confidential computing protegge i dati anche mentre vengono elaborati in memoria. HBM e SRAM sono tipi di memoria veloce vicini al chip.
Che cosa ha presentato Google?
Nel post ufficiale di Google i nuovi arrivi sono due sistemi. TPU 8tx è pensato per l'inferenza sicura e riservata, ed è indicato anche per addestramenti di piccola scala. TPU 8i Max è invece pensato per finestre di contesto molto grandi e per la massima densità di calcolo per rack.
Ad aprile erano arrivati TPU 8t, per l'addestramento su larga scala, e TPU 8i, per il ragionamento in tempo reale. Google dichiara fino a 2,7 volte di prestazioni in più nell'addestramento e l'80% di rapporto prezzo-prestazioni migliore nell'inferenza rispetto alla generazione precedente. La notizia è ripresa anche da HDblog.
Come funziona TPU 8tx e a chi serve?
Di solito i dati sono cifrati quando sono archiviati o viaggiano in rete, ma vanno decifrati in memoria durante l'elaborazione. Google spiega che TPU 8tx porta la protezione nel livello hardware, così dati sensibili e pesi del modello restano isolati anche in uso. Usa lo stesso silicio di TPU 8t, abbinato a host con CPU AMD EPYC di quinta generazione.
Adotta inoltre la rete Boardfly a bassa latenza di TPU 8i. Per Google la latenza scende fino a 2 volte rispetto a TPU 8t, con una penalità di prestazioni quasi nulla. Il target sono aziende regolamentate e governi.
Sullo stesso sistema si può addestrare e personalizzare, per esempio fare fine-tuning su dati privati, senza spostare i dati tra cluster diversi.
Che cos'è TPU 8i Max e cosa risolve?
Google lo lega al problema del cosiddetto muro della memoria. Quando decine di agenti lavorano insieme su un intero codice sorgente o su ore di video, la banda di memoria diventa il collo di bottiglia. La soluzione dichiarata è unire due chip TPU 8i in un unico package.
Il risultato, sempre secondo Google, è il doppio di calcolo, di SRAM e di banda HBM rispetto a TPU 8i. Poiché nello stesso rack entra il doppio di silicio, i data center possono ospitare più potenza per metro quadro e per watt. Il tema dell'infrastruttura è lo stesso del data center di Crusoe acquistato da Google in Wyoming.
Che cosa cambia per gli sviluppatori?
Google insiste sull'accessibilità. Il mese scorso ha rilasciato in open source TorchTPU, quindi codice PyTorch e modelli Hugging Face girano in modo nativo sulle TPU, senza riscrivere il codice. Ci sono backend per motori di inferenza come vLLM e SGLang.
Una suite di agenti per TPU, in anteprima, si collega a strumenti come Claude Code, Cursor e Google Antigravity per automatizzare l'avvio e diagnosticare i colli di bottiglia. Un XLA Serving Engine open source permette di addestrare in Python e servire in un runtime C++ su TPU, GPU e CPU.
Sui benchmark InferenceX e AgentX Google dichiara risultati di prezzo-prestazioni allo stato dell'arte con la sua pila vLLM-TorchTPU. Sono dati dichiarati dall'azienda. Chi sviluppa sui modelli può partire dalla nostra guida alla Gemini API.
Limiti da conoscere
Le cifre su prestazioni, latenza e prezzo-prestazioni sono dichiarazioni di Google, senza verifica indipendente. Nelle fonti che abbiamo non ci sono prezzi, disponibilità per regione né date di rilascio dei due nuovi sistemi. Il testo ufficiale che abbiamo ricevuto è troncato, quindi alcune parti, come la gestione dell'inattività degli agenti, non sono valutabili. Gli aggiornamenti software promessi potrebbero cambiare i risultati.
Cosa cambia per chi lavora con il digitale
Per quasi tutte le aziende italiane nulla di immediato, perché le TPU si usano tramite il cloud di Google. Il segnale riguarda chi tratta dati sensibili, per esempio sanità o finanza. Un'inferenza protetta anche in memoria può rendere più semplice portare un agente su dati riservati. Chi sviluppa software con PyTorch trova una strada più corta per provare queste macchine senza riscrivere il codice. Conviene però confrontare i costi reali con quelli delle GPU. Se usi già la linea Gemini di Google, queste macchine sono la base su cui gira.
Il nostro parere
La mossa è coerente. Google non cerca solo il chip più veloce, vende sistemi su misura per ogni fase del lavoro. La riservatezza in uso è un argomento forte, perché frena molte aziende dall'affidare dati agli agenti. Resta però un ecosistema chiuso, con vantaggi che dipendono da numeri di Google. Prima di entusiasmarsi servono prezzi e test indipendenti. Va seguito anche il fronte normativo, ricordato dalla nostra guida all'AI Act per sviluppatori.
Domande frequenti
Che differenza c'è tra TPU 8tx e TPU 8t?
TPU 8tx usa lo stesso silicio di TPU 8t, ma è ottimizzato per l'inferenza riservata. Ha la rete a bassa latenza di TPU 8i e protezione hardware dei dati in uso. TPU 8t resta il sistema per l'addestramento su larga scala.
Che cosa fa TPU 8i Max in più di TPU 8i?
Raddoppia le risorse. Secondo Google combina due chip TPU 8i in un package, con doppio calcolo, doppia SRAM e doppia banda HBM. Serve per contesti molto grandi.
Posso usare le TPU con il mio codice PyTorch?
Sì, secondo Google. TorchTPU è open source e fa girare codice PyTorch e modelli Hugging Face in modo nativo sulle TPU, senza riscrivere il codice.
Quante TPU ha presentato Google quest'anno?
Quattro sistemi di ottava generazione. Sono TPU 8t e 8i, mostrati ad aprile, più TPU 8tx e 8i Max. Google dice che non era mai successo in un anno.
Quanti clienti usano le TPU?
Quasi 100, secondo Google. Tra loro ci sono laboratori di frontiera, società di trading, rivenditori e università.
Prezzi, test indipendenti e dati sensibili, cosa guardare nei prossimi mesi
Il valore di questi sistemi si vedrà fuori dai comunicati. Contano disponibilità, costi e verifiche esterne.
- Controlla quando e dove TPU 8tx e 8i Max diventano disponibili nel cloud e a che prezzo.
- Cerca test indipendenti sui benchmark InferenceX e AgentX, non solo i dati di Google.
- Se tratti dati riservati, valuta con il tuo consulente quali garanzie di confidential computing servono davvero.
