Ing. Calogero Bono
Google telah memperkenalkan TPU 8tx dan TPU 8i Max, dua sistem baru yang melengkapi keluarga akselerator generasi kedelapan. Keduanya menyusul TPU 8t dan 8i, yang ditampilkan pada April saat Cloud Next. Menurut Google, ini pertama kalinya perusahaan memperkenalkan empat sistem TPU dalam satu tahun. Sasarannya adalah agen AI, yang mengelola lebih banyak data dan bekerja dalam banyak tahap, serta perusahaan yang menuntut perlindungan lebih kuat untuk data sensitif.
Beberapa istilah sebelum masuk ke fakta. TPU adalah prosesor yang dirancang Google untuk kecerdasan buatan. Inferensi adalah tahap ketika model yang sudah dilatih menjawab permintaan. Jendela konteks adalah jumlah teks yang dapat dipertimbangkan model sekaligus. Confidential computing melindungi data bahkan saat sedang diproses di memori. HBM dan SRAM adalah jenis memori cepat yang berada dekat dengan chip.
Apa yang diperkenalkan Google?
Dalam postingan resmi Google, kehadiran baru berupa dua sistem. TPU 8tx dirancang untuk inferensi yang aman dan tertutup, dan juga disebut cocok untuk pelatihan skala kecil. TPU 8i Max ditujukan untuk jendela konteks yang sangat besar serta kepadatan komputasi maksimum per rak.
Pada April telah hadir TPU 8t, untuk pelatihan skala besar, dan TPU 8i, untuk penalaran waktu nyata. Google mengklaim hingga 2,7 kali kinerja lebih tinggi dalam pelatihan dan rasio harga-kinerja inferensi 80% lebih baik dibanding generasi sebelumnya. Kabar ini juga diberitakan oleh HDblog.
Bagaimana cara kerja TPU 8tx dan untuk siapa?
Biasanya data terenkripsi saat disimpan atau dikirim lewat jaringan, tetapi harus didekripsi di memori selama pemrosesan. Google menjelaskan bahwa TPU 8tx membawa perlindungan ke tingkat perangkat keras, sehingga data sensitif dan bobot model tetap terisolasi saat digunakan. Ia memakai silikon yang sama dengan TPU 8t, dipadukan dengan host CPU AMD EPYC generasi kelima.
Ia juga mengadopsi jaringan Boardfly berlatensi rendah dari TPU 8i. Menurut Google, latensinya turun hingga 2 kali dibanding TPU 8t, dengan penurunan kinerja yang hampir tidak berarti. Sasarannya adalah perusahaan yang diatur ketat dan pemerintah.
Di sistem yang sama, pelatihan dan penyesuaian model juga dapat dilakukan, misalnya fine-tuning dengan data privat, tanpa memindahkan data antar klaster yang berbeda.
Apa itu TPU 8i Max dan masalah apa yang dipecahkannya?
Google mengaitkannya dengan masalah yang disebut dinding memori. Ketika puluhan agen bekerja bersama pada seluruh kode sumber atau berjam-jam video, bandwidth memori menjadi hambatan. Solusi yang diklaim adalah menyatukan dua chip TPU 8i dalam satu package.
Hasilnya, menurut Google, adalah komputasi, SRAM, dan bandwidth HBM dua kali lipat dibanding TPU 8i. Karena silikon dua kali lipat muat dalam rak yang sama, pusat data dapat menampung lebih banyak daya per meter persegi dan per watt. Tema infrastruktur ini sama dengan pusat data Crusoe di Wyoming yang dibeli Google.
Apa dampaknya bagi pengembang?
Google menekankan aksesibilitas. Bulan lalu ia merilis TorchTPU secara open source, sehingga kode PyTorch dan model Hugging Face berjalan secara native di TPU tanpa menulis ulang kode. Tersedia juga backend untuk mesin inferensi seperti vLLM dan SGLang.
Sebuah suite agen untuk TPU, dalam pratinjau, terhubung ke alat seperti Claude Code, Cursor, dan Google Antigravity untuk mengotomatisasi peluncuran dan mendiagnosis hambatan. Sebuah XLA Serving Engine open source memungkinkan pelatihan dengan Python dan penyajian dalam runtime C++ di TPU, GPU, dan CPU.
Pada benchmark InferenceX dan AgentX, Google mengklaim hasil harga-kinerja terkini dengan tumpukan vLLM-TorchTPU miliknya. Ini adalah data yang diklaim perusahaan. Pengembang yang bekerja dengan model dapat mulai dari panduan kami tentang Gemini API.
Keterbatasan yang perlu diketahui
Angka kinerja, latensi, dan rasio harga-kinerja adalah klaim Google, tanpa verifikasi independen. Dalam sumber yang kami miliki tidak ada harga, ketersediaan per wilayah, atau tanggal rilis kedua sistem baru. Teks resmi yang kami terima terpotong, sehingga beberapa bagian, seperti penanganan agen yang sedang tidak aktif, belum bisa dinilai. Pembaruan perangkat lunak yang dijanjikan dapat mengubah hasilnya.
Apa yang berubah bagi mereka yang bekerja dengan digital
Bagi hampir semua perusahaan di Indonesia, belum ada perubahan langsung, karena TPU digunakan lewat cloud Google. Sinyal ini terutama penting bagi mereka yang menangani data sensitif, misalnya kesehatan atau keuangan. Inferensi yang terlindungi juga di memori dapat mempermudah penerapan agen pada data rahasia. Pengembang yang bekerja dengan PyTorch mendapat jalur yang lebih singkat untuk mencoba mesin ini tanpa menulis ulang kode. Tetap perlu membandingkan biaya nyata dengan GPU. Jika kamu sudah memakai lini Gemini dari Google, mesin ini adalah fondasi yang menjalankannya.
Pendapat kami
Langkah ini konsisten. Google tidak hanya mengejar chip tercepat, tetapi menjual sistem yang disesuaikan untuk setiap tahap pekerjaan. Kerahasiaan saat data diproses adalah argumen yang kuat, karena banyak perusahaan enggan menyerahkan data kepada agen. Namun ini tetap ekosistem tertutup, dengan keunggulan yang bergantung pada angka dari Google. Sebelum bersemangat, harga dan uji independen diperlukan. Perkembangan regulasi juga perlu diikuti, sebagaimana diingatkan oleh panduan kami tentang AI Act untuk pengembang.
Pertanyaan yang sering diajukan
Apa perbedaan TPU 8tx dengan TPU 8t?
TPU 8tx memakai silikon yang sama dengan TPU 8t, tetapi dioptimalkan untuk inferensi tertutup. Ia memiliki jaringan berlatensi rendah dari TPU 8i serta perlindungan perangkat keras untuk data yang sedang digunakan. TPU 8t tetap menjadi sistem untuk pelatihan berskala besar.
Apa tambahan TPU 8i Max dibanding TPU 8i?
Sumber dayanya digandakan. Menurut Google, ia menggabungkan dua chip TPU 8i dalam satu package, dengan komputasi, SRAM, dan bandwidth HBM dua kali lipat. Ini ditujukan untuk konteks yang sangat besar.
Bisakah saya memakai TPU dengan kode PyTorch saya?
Bisa, menurut Google. TorchTPU bersifat open source dan menjalankan kode PyTorch serta model Hugging Face secara native di TPU, tanpa menulis ulang kode.
Berapa banyak TPU yang diperkenalkan Google tahun ini?
Empat sistem generasi kedelapan. Yaitu TPU 8t dan 8i yang ditampilkan pada April, ditambah TPU 8tx dan 8i Max. Google menyebut ini belum pernah terjadi dalam satu tahun.
Berapa banyak pelanggan yang menggunakan TPU?
Hampir 100, menurut Google. Di antaranya terdapat laboratorium frontier, perusahaan perdagangan, reseller, dan universitas.
Harga, uji independen, dan data sensitif, apa yang perlu diperhatikan dalam beberapa bulan ke depan
Nilai sistem ini akan terlihat di luar siaran pers. Yang penting adalah ketersediaan, biaya, dan verifikasi dari pihak luar.
- Periksa kapan dan di mana TPU 8tx serta 8i Max tersedia di cloud, dan berapa harganya.
- Cari uji independen atas benchmark InferenceX dan AgentX, bukan hanya data dari Google.
- Jika kamu menangani data rahasia, diskusikan dengan konsultanmu jaminan confidential computing mana yang benar-benar dibutuhkan.
