跳到正文
NVIDIA Blog· Hannah Coutand·· 2 小时前AI 评分47

NVIDIA Vera CPU 兼得最高吞吐与最快 Agent 性能

Vera Delivers the Best of Both Worlds: Highest Throughput and Fastest Agents

AI 导读

NVIDIA 宣布其 Vera CPU 在 100MW 数据中心对比中同时超越最快 x86 CPU 和最节能 x86 CPU:相对最快 x86 每瓦可多支持 1.6 倍 Agent,相对最节能 x86 agent 速度快 2 倍。

正文 · AI 翻译

AI 智能体不只是生成答案。它们会搜索信息、查询数据库、编写和测试代码并采取行动。 

每一步都依赖 CPU,智能体在整个任务过程中不断在 GPU 推理与 CPU 执行之间切换。 

随着企业投入更多智能体使用,AI 工厂需要能够快速执行这些步骤、同时支持大量智能体的 CPU,并且都要在可用功耗的限制之内。

这意味着:AI 基础设施提供商需要支持更多智能体,同时不让每个智能体等待更久才能完成工作。而且关键在于,AI 工厂受功耗限制。这意味着运营者需要选择能最大化每瓦特完成工作量的基础设施。 

重要性所在: NVIDIA Vera 在单一 CPU 中同时提供了快速的智能体性能和高每瓦特容量。这让提供商用一颗 CPU 就能应对多种智能体工作负载,而不必混搭快速型和密集型 x86 产品来平衡速度与容量。

证明它的数据: 在一项 100 兆瓦数据中心的对比中,NVIDIA 发现单颗 Vera CPU 的表现优于最快的 x86 CPU 和最节能的 x86 CPU。

  • Vera 提供业界领先的智能体速度,同时相比最快的 x86 CPU 实现每瓦特支持多 1.6 倍的智能体。
  • 与最节能的 x86 CPU 相比,Vera 在保持领先能效的同时实现快 2 倍的智能体速度。

合作伙伴已经开始使用 Vera。早期采用者在生产级测试中看到了同样出色的性能:

  • Perplexity:使用 Vera 运行智能体编程任务的速度比传统 CPU 快 1.5 倍。Perplexity 计划在即将推出的生产系统中部署 Vera。
  • DeepInfra:在其生产智能体工作负载的智能体编排上,速度最高达到最佳 x86 处理器的 2.2 倍,是所测试的四种架构中最快的。
  • ClickHouse:其标准二进制文件在未做任何 Vera 专属调优的情况下,在 176 个核心上近乎线性扩展,并登顶 ClickBench 硬件排行榜。
  • DuckLabs:取得了约为 Intel Xeon 6 基准 1.5 倍的 TPC-H SF1000 中位数性能。
  • Daytona:使用 Vera 在 10.8 秒内上线 1,000 个智能体沙箱,并在 2,000 个并发沙箱下达到每秒完成 12.7 个任务,而 x86 需要 88.4 秒。
  • Modal:与同类 x86 硬件相比,每核心沙箱吞吐量最高提升 2 倍,且在高负载下收益进一步扩大。

了解更多关于 NVIDIA Vera CPU 的信息。

来源: NVIDIA Blog · blogs.nvidia.com