Google 一年内推出四款 TPU 变体，加码与 Nvidia 竞争

借助两款新的 TPU 变体，Google 正瞄准机密 AI 工作负载和内存密集型应用。这一扩展巩固了 Google 的战略转变，即将其自研 AI 芯片定位为面向外部客户的广泛平台。

Google 在其第八代 AI 加速器产品线中新增了两套系统：用于机密计算的 TPU 8tx 和面向内存密集型工作负载的 TPU 8i Max。Google 表示，这是该公司首次在一年内发布了四套 TPU 系统。

这两款新变体都基于现有芯片构建。Google 并没有推出新的芯片代际，而是新的系统配置：围绕同一处理器的不同封装、不同网络和不同内存配置。公司将这种模块化方式视为一种刻意的设计选择，使其能够在数月而非数年内交付新的硬件变体。

TPU 8tx 让敏感数据即使在被处理时也保持加密

TPU 8tx 面向处理机密数据的企业和政府机构。通常情况下，数据在存储和传输时会被加密，但一旦处理器开始处理它，就必须在内存中解密。

TPU 8tx 的设计正是为了弥合这一缺口。据 Google 称，数据和模型权重即使在主动使用期间也能保持受保护和隔离。Nvidia 已通过其机密计算架构为 GPU 提供了类似的功能。

该系统采用 Google 为实时推理开发的同样低延迟 Boardfly 网络，与 TPU 8t 相比，预计可提供高达两倍的延迟降低。Google 表示，企业可以使用单一系统来微调模型、将大模型蒸馏为更小的模型，并通过强化学习训练 AI 智能体，全程无需在不同集群之间移动敏感数据。

TPU 8i Max 解决的是另一个问题：内存瓶颈。当 AI 智能体同时在大型代码库或数小时的视频上工作时，内存带宽就成了瓶颈。Google 的解决方案是在单个封装上放置两颗 TPU 8i 芯片。

其结果是在相同的机架规格下实现双倍算力、双倍内存和双倍内存带宽，这意味着每平方米数据中心空间的性能显著提升。

除了硬件之外，Google 还在努力让 TPU 更易于使用。该公司已将 TorchTPU 开源发布，因此 PyTorch 代码应该只需极少改动即可在 TPU 上运行。vLLM 和 SGLang 等流行的推理框架也得到了支持。

这一扩展是 Google 战略转变的直接回应，即从将 TPU 视为纯粹的内部工具，转向将其作为面向外部客户的具有竞争力的平台来推广。该公司目前拥有近 100 家外部 TPU 客户。

更广泛的市场趋势正在推动这一举措。随着 AI 应用的普及，重心正从昂贵的训练运行转向推理，也就是模型的日常运行。像 TPU 这样的专用芯片恰恰能在这一领域发挥自身优势。这也是 Amazon、Microsoft 和 OpenAI 都在开发自己加速器的原因。

Nvidia 的应对方式是通过与 Groq 的收购式聘用及授权协议来增强自身的推理产品。

订阅 THE DECODER，即可享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区的参与权限。