Ing. Calogero Bono
Google, sekizinci nesil hızlandırıcı ailesini tamamlayan iki yeni sistem olan TPU 8tx ve TPU 8i Max'i tanıttı. Bu sistemler, Nisan ayında Cloud Next sırasında gösterilen TPU 8t ve 8i'nin yanına ekleniyor. Google'a göre bir yıl içinde dört TPU sistemi birden sunmak şirket için ilk kez oluyor. Hedef, daha fazla veri işleyen ve birden çok adımda çalışan yapay zeka ajanları ile hassas verilerinin daha fazla korunmasını isteyen şirketler.
Olayları anlamadan önce birkaç terim. TPU, Google'ın yapay zeka için tasarladığı işlemcidir. Çıkarım, önceden eğitilmiş bir modelin isteklere yanıt verdiği aşamadır. Bağlam penceresi, bir modelin tek seferde dikkate alabildiği metin miktarıdır. Gizli hesaplama, verileri bellekte işlenirken bile korur. HBM ve SRAM, çipin yakınındaki hızlı bellek türleridir.
Google ne tanıttı?
Google'ın resmi yazısında yeni gelenler iki sistem. TPU 8tx, güvenli ve gizli çıkarım için tasarlanmış ve küçük ölçekli eğitimler için de öneriliyor. TPU 8i Max ise çok büyük bağlam pencereleri ve rack başına en yüksek hesaplama yoğunluğu için tasarlanmış.
Nisan'da büyük ölçekli eğitim için TPU 8t ve gerçek zamanlı akıl yürütme için TPU 8i gelmişti. Google, eğitimde önceki nesile göre 2,7 kata kadar daha fazla performans ve çıkarımda %80 daha iyi fiyat-performans iddia ediyor. Haber HDblog tarafından da aktarıldı.
TPU 8tx nasıl çalışıyor ve kimin işine yarıyor?
Veriler genellikle depolandığında ya da ağda dolaşırken şifrelenir, ama işlenirken bellekte çözülmek zorundadır. Google, TPU 8tx'in korumayı donanım katmanına taşıdığını, böylece hassas veriler ve model ağırlıklarının kullanım sırasında da yalıtılmış kaldığını anlatıyor. Aynı silikonu TPU 8t ile paylaşıyor ve beşinci nesil AMD EPYC CPU'lu ana bilgisayarlarla eşleşiyor.
Ayrıca TPU 8i'nin düşük gecikmeli Boardfly ağını benimsiyor. Google'a göre gecikme TPU 8t'ye göre 2 kata kadar düşüyor ve performans cezası neredeyse sıfır. Hedef, düzenlemeye tabi şirketler ve devletler.
Aynı sistemde eğitim ve özelleştirme de yapılabiliyor, örneğin özel veriler üzerinde ince ayar; veriler farklı kümeler arasında taşınmadan.
TPU 8i Max nedir ve neyi çözüyor?
Google bunu bellek duvarı denen soruna bağlıyor. Onlarca ajan birlikte tüm bir kaynak koduyla ya da saatlerce videoyla çalıştığında, bellek bant genişliği darboğaz hâline geliyor. Açıklanan çözüm, iki TPU 8i çipini tek bir pakette birleştirmek.
Google'a göre sonuç, TPU 8i'ye kıyasla iki kat hesaplama, SRAM ve HBM bant genişliği. Aynı rack'e iki kat silikon sığdığı için veri merkezleri metrekare ve watt başına daha fazla güç barındırabiliyor. Altyapı konusu, Google'ın Wyoming'de satın aldığı Crusoe veri merkezi ile aynı.
Geliştiriciler için ne değişiyor?
Google erişilebilirliğe vurgu yapıyor. Geçen ay TorchTPU'yu açık kaynak olarak yayımladı; böylece PyTorch kodu ve Hugging Face modelleri kodu yeniden yazmadan TPU'larda yerel çalışıyor. vLLM ve SGLang gibi çıkarım motorları için arka uçlar da mevcut.
Önizlemedeki bir TPU ajan paketi, Claude Code, Cursor ve Google Antigravity gibi araçlarla bağlanarak kurulumu otomatikleştiriyor ve darboğazları teşhis ediyor. Açık kaynak bir XLA Serving Engine ise Python'da eğitip TPU, GPU ve CPU üzerinde C++ çalışma zamanında servis etmeye imkân veriyor.
Google, InferenceX ve AgentX kıyaslamalarında vLLM-TorchTPU yığınıyla son teknoloji fiyat-performans sonuçları iddia ediyor. Bunlar şirketin beyan ettiği veriler. Modeller üzerinde geliştirme yapanlar için başlangıç noktası Gemini API rehberimiz.
Bilmen gereken sınırlar
Performans, gecikme ve fiyat-performans rakamları Google'ın iddiaları olup bağımsız bir doğrulama yok. Elimizdeki kaynaklarda iki yeni sistemin fiyatı, bölgesel kullanılabilirliği ve yayın tarihleri yer almıyor. Aldığımız resmi metin kesik olduğundan, ajanların boşta kalma yönetimi gibi bazı bölümler değerlendirilemiyor. Vaat edilen yazılım güncellemeleri sonuçları değiştirebilir.
Dijitalle çalışanlar için ne değişiyor
Türkiye'deki neredeyse tüm şirketler için hemen bir değişiklik olmayacak, çünkü TPU'lar Google'ın bulutu üzerinden kullanılıyor. Sinyal, sağlık ya da finans gibi hassas veri işleyenleri ilgilendiriyor. Bellekte bile korunan çıkarım, bir ajanı gizli verilere taşımayı kolaylaştırabilir. PyTorch ile yazılım geliştirenler, kodu yeniden yazmadan bu makineleri deneyebilecek daha kısa bir yol buluyor. Yine de gerçek maliyetleri GPU'larla karşılaştırmak gerekiyor. Zaten Google'ın Gemini serisini kullanıyorsan, bu makineler onun altında çalışan altyapı.
Bizim değerlendirmemiz
Hamle tutarlı. Google yalnızca en hızlı çipi aramıyor, işin her aşaması için özel sistemler satıyor. Kullanım sırasında gizlilik güçlü bir argüman, çünkü birçok şirketin verilerini ajanlara emanet etmesini engelliyor. Yine de bu kapalı bir ekosistem ve avantajlar Google'ın sayılarına dayanıyor. Heyecanlanmadan önce fiyatların ve bağımsız testlerin çıkmasını beklemek gerekir. Düzenleyici cephe de takip edilmeli; bunu geliştiriciler için AI Act rehberimiz hatırlatıyor.
Sık sorulan sorular
TPU 8tx ile TPU 8t arasındaki fark nedir?
TPU 8tx, TPU 8t ile aynı silikonu kullanır ama gizli çıkarım için optimize edilmiştir. TPU 8i'nin düşük gecikmeli ağına ve kullanım sırasında donanım düzeyinde veri korumasına sahiptir. TPU 8t ise büyük ölçekli eğitim için olmaya devam eder.
TPU 8i Max, TPU 8i'ye göre neyi daha fazla yapıyor?
Kaynakları ikiye katlıyor. Google'a göre bir pakette iki TPU 8i çipini birleştirerek iki kat hesaplama gücü, iki kat SRAM ve iki kat HBM bant genişliği sunuyor. Çok büyük bağlamlar için tasarlanmış.
PyTorch kodumla TPU'ları kullanabilir miyim?
Google'a göre evet. TorchTPU açık kaynaktır ve PyTorch kodunu ile Hugging Face modellerini TPU'larda yerel olarak çalıştırır, kodu yeniden yazmanız gerekmez.
Google bu yıl kaç TPU tanıttı?
Sekizinci nesilde dört sistem. Nisan'da gösterilen TPU 8t ve 8i ile yeni TPU 8tx ve 8i Max. Google, bunun bir yılda daha önce hiç olmadığını söylüyor.
TPU'ları kaç müşteri kullanıyor?
Google'a göre neredeyse 100 müşteri. Aralarında sınır laboratuvarları, ticaret şirketleri, yeniden satıcılar ve üniversiteler var.
Fiyatlar, bağımsız testler ve hassas veriler – önümüzdeki aylarda nelere bakmalı
Bu sistemlerin değeri basın açıklamalarının dışında görülecek. Kullanılabilirlik, maliyetler ve dış doğrulamalar belirleyici olacak.
- TPU 8tx ve 8i Max'in bulutta ne zaman ve hangi bölgelerde, hangi fiyatla kullanılabileceğini takip et.
- Yalnızca Google'ın verilerine değil, InferenceX ve AgentX kıyaslamalarına dair bağımsız testleri ara.
- Gizli veri işliyorsan, hangi gizli hesaplama garantilerinin gerçekten gerektiğini danışmanınla birlikte değerlendir.
