Ing. Calogero Bono
Google 推出了 TPU 8tx 和 TPU 8i Max，这两款新系统补全了第八代 AI 加速器家族。它们与今年四月 Cloud Next 大会上展示的 TPU 8t 和 8i 并列。据 Google 介绍，这是它第一次在一年之内推出四款 TPU 系统。目标是 AI 智能体，它们处理的数据更多、执行的步骤更长，同时也是那些要求更好地保护敏感数据的企业。
在进入具体内容之前，先了解几个术语。 TPU是 Google 为人工智能设计的处理器。推理是已经训练好的模型响应请求的阶段。上下文窗口是模型一次能够考虑的文本量。机密计算即使在内存中处理数据时也能保护它们。HBM和SRAM是位于芯片附近的两种高速内存。
Google 推出了什么？
在 Google 官方文章中，新品是两款系统。TPU 8tx 面向安全、私密的推理，也适用于小规模训练。TPU 8i Max 则面向超大上下文窗口，并追求每个机架的最高计算密度。
四月发布的是 TPU 8t，用于大规模训练，以及 TPU 8i，用于实时推理。Google 称，与上一代相比，训练性能最高提升 2.7 倍，推理的性价比提升 80%。该消息也被 HDblog 报道。
TPU 8tx 如何运作，适合谁？
通常数据在存储或网络传输时是加密的，但在内存中处理时需要解密。Google 解释说，TPU 8tx 将保护延伸到硬件层面，因此敏感数据和模型权重在使用中也保持隔离。它使用与 TPU 8t 相同的硅片，并搭配第五代 AMD EPYC CPU 的主机。
它还采用了 TPU 8i 的低延迟 Boardfly 网络。据 Google 介绍，与 TPU 8t 相比，延迟最多降低 2 倍，而性能损失几乎为零。目标用户是受监管的企业和政府。
在同一系统上可以进行训练和定制，例如基于私有数据进行微调，而无需在不同集群之间迁移数据。
TPU 8i Max 是什么，它解决什么问题？
Google 将它与所谓的内存墙问题联系起来。当数十个智能体共同处理整个代码库或数小时的视频时，内存带宽就成了瓶颈。它给出的解决方案是将两块 TPU 8i 芯片合并到一个封装中。
据 Google 介绍，结果是计算能力、SRAM 和 HBM 带宽都是 TPU 8i 的两倍。由于同一机架中可容纳的硅片翻倍，数据中心每平方米和每瓦特可以部署更多算力。基础设施这一话题与 Google 在怀俄明州收购的 Crusoe 数据中心相同。
这对开发者意味着什么？
Google 强调可访问性。上个月它以开源形式发布了 TorchTPU，因此 PyTorch 代码和 Hugging Face 模型无需重写即可在 TPU 上原生运行。vLLM 和 SGLang 等推理引擎也有相应后端。
一套处于预览阶段的 TPU 智能体套件，可连接 Claude Code、Cursor 和 Google Antigravity 等工具，以自动化启动并诊断瓶颈。一个开源的 XLA Serving Engine 允许在 Python 中训练，并在 C++ 运行时中于 TPU、GPU 和 CPU 上提供服务。
在 InferenceX 和 AgentX 基准测试中，Google 声称其 vLLM-TorchTPU 技术栈实现了业界领先的性价比。这些数据由公司自行公布。如果你在模型上开发，可以从我们的 Gemini API 指南入手。
需要了解的局限
关于性能、延迟和性价比的数字均为 Google 自己的声明，未经独立验证。我们掌握的资料中没有两款新系统的价格、各地区的可用性以及发布日期。我们收到的官方文本是截断的，因此部分内容，例如智能体空闲状态的管理，无法评估。所承诺的软件更新可能会改变结果。
对数字行业从业者意味着什么
对于几乎所有意大利企业来说，短期内并没有直接影响，因为 TPU 是通过 Google 的云服务使用的。这一信号主要针对处理敏感数据的人，例如医疗或金融行业。即使在内存中也受保护的私密推理，可能让智能体更容易用于机密数据。使用 PyTorch 的开发者无需重写代码，就能更便捷地试用这些机器。不过，最好将实际成本与 GPU 的成本进行比较。如果你已经在使用 Google 的 Gemini 系列，这些机器就是它运行的基础。
我们的看法
这一举措是连贯的。Google 追求的不只是最快的芯片，而是为工作的每个阶段量身定制系统。使用中的数据保密是一个有力的论点，因为它打消了许多企业把数据交给智能体的顾虑。但这仍是一个封闭的生态，其优势依赖于 Google 自己提供的数字。在兴奋之前，需要价格和独立测试。也值得关注监管方面的动向，我们的开发者 AI 法案指南对此有所提及。
常见问题
TPU 8tx 和 TPU 8t 有什么区别？
TPU 8tx 使用与 TPU 8t 相同的硅片，但针对私密推理进行了优化。它具有 TPU 8i 的低延迟网络，并提供使用中数据的硬件保护。TPU 8t 仍然是用于大规模训练的系统。
TPU 8i Max 比 TPU 8i 多了什么？
它的资源翻倍。据 Google 介绍，它将两块 TPU 8i 芯片封装在一起，计算、SRAM 和 HBM 带宽都翻了一番，适用于超大上下文。
我能用 TPU 运行自己的 PyTorch 代码吗？
据 Google 介绍，可以。TorchTPU 是开源的，能让 PyTorch 代码和 Hugging Face 模型原生运行在 TPU 上，无需重写代码。
Google 今年推出了多少款 TPU？
四款第八代系统。它们是四月展示的 TPU 8t 和 8i，再加上 TPU 8tx 和 8i Max。Google 表示，一年之内推出这么多款此前从未发生过。
有多少客户在使用 TPU？
据 Google 介绍，接近 100 家。其中包括前沿实验室、交易公司、经销商和大学。
价格、独立测试与敏感数据，未来几个月该关注什么
这些系统的价值将在新闻稿之外得到检验。可用性、成本和外部验证才是关键。
- 查看 TPU 8tx 和 8i Max 何时、在哪些地区于云端上线，以及价格如何。
- 寻找 InferenceX 和 AgentX 基准的独立测试，而不只看 Google 提供的数据。
- 如果你处理机密数据，请与顾问评估真正需要哪些机密计算保障。
