NVIDIA 发布开源多模态模型 Nemotron 3.5 Super VL，面向持续运行的企业 AI Agent

英伟达发布了 Nemotron 3.5 Super VL，一个拥有 1200 亿参数、面向企业智能体的开放多模态模型。两款旨在将 AI 智能体带到本地 PC 和边缘设备的紧凑型 Bolt 模型也将一同发布。

英伟达打造 Nemotron 3.5 Super VL 是为了在后台持续运行、处理文本、图像、文档和视频的专业智能体。

正如该公司在技术博客文章中所解释的，它采用专家混合（Mixture-of-Experts）架构，每个 token 只激活 1200 亿参数中的 120 亿。英伟达与Nemotron Coalition（包括 Mistral AI、Thinking Machines Lab、Perplexity 和 Black Forest Labs 在内的组织）共同开发了该模型。

两款面向本地硬件的更小模型同时发布。Nemotron 3.5 Bolt 74B-A9B 24GB 可在本地机器上运行智能体任务，而更小的 Bolt E4B 4GB 则瞄准快速语音助手，将于本月晚些时候推出。英伟达声称，这两款模型都提供“每 GB 内存最高智能水平”。

Super VL 和 Bolt 加入了现有的 Nemotron 产品线。8 月发布的 Lightning 专为高吞吐量打造，而Ultra 则应对艰难的推理任务。每个变体都针对英伟达硬件进行了优化。

Bar chart of the Artificial Analysis Intelligence Index v4.3.2 with 27 models, led by Claude Opus 5.5 at 58 points. Nemotron 3.5 Super VL scores 26 points, Nemotron 3.5 Bolt 74B-A9B gets 21. — 在 Artificial Analysis 的综合排名中，Super VL 与领先的闭源模型差距较大，但胜过了英伟达自家的 Nemotron 3 Ultra。| 图片来源：Nvidi

英伟达称其最大模型只用了五分之一的规模就达到相同准确率

英伟达从其最大的推理模型 Nemotron 3 Ultra 蒸馏出 Super VL。在智能体遵循指令、调用工具、处理多步业务流程或分析图像的任务上，Super VL 应以约五分之一的参数达到 Ultra 的准确率。据英伟达称，在 Hermes 和 LangChain 的智能体测试中，它实际上得分高于 Ultra，并且在编码基准 SWE-bench 和 Terminal-Bench 上也击败了其前身 Nemotron 3 Super。

Scatter plot comparing SWE-bench Pro accuracy against hours to complete 10,000 tasks on four B200 GPUs. Nemotron 3.5 Super VL takes about 10 hours at roughly 51 percent accuracy. Qwen3.8 Flash Next and DeepSeek V4 Flash land at roughly 50 to 56 hours. Inkling Small takes nearly 120 hours. — Super VL 在编码基准上的准确率略低于竞争对手，但英伟达表示它完成任务的速度快四倍。| 图片来源：Nvidia

据英伟达引用 Artificial Analysis 排行榜称，在单个 GPU 上，Super VL 在智能体任务上的吞吐量可达同等规模其他开放模型的五倍。在 EXO Labs 对 DGX Spark 进行的独立测试中，没有其他模型能同时做到更准确且更快。当智能体需要在数天或数周内处理大量任务时，这种速度优势就能体现价值。

Scatter plot comparing the Artificial Analysis Intelligence Index for open models against output speed at 100,000 input tokens. Nemotron 3.5 Super VL sits alone in the highlighted quadrant at roughly 630 tokens per second. — 据英伟达称，在相近的 Intelligence Index 得分下，Super VL 每秒生成的 token 数量可达同级别其他开放模型的五倍。| 图片来源：Nvidia

面对闭源前沿模型，英伟达将 Super VL 推销给希望用自己的数据进行微调、并在自己的服务器上运行模型、不受服务商服务条款约束的企业。英伟达表示，这可能吸引持续筛查欺诈理赔的保险公司，或按照自身标准评估信用度的金融服务公司。为了便于定制，该公司提供其 NeMo 框架、Python 流水线和开放数据集。

Chart from local.ai plotting the Intelligence Index of local models against end-to-end agentic task time on the DGX Spark. Nemotron 3.5 Super VL sits on the efficiency curve between Qwen 3.8 Flash Next and Qwen 3.6 35B A3B. DeepSeek V4 Flash, Inkling Small, and Qwen 3.8 27B fall below it. — 在 DGX Spark 上，没有其他受测模型能比 Super VL 同时做到更准确且更快。| 图片来源：Nvidia

压缩和缓存降低计算开销

Nvidia 使用其 4 位 NVFP4 格式压缩了 Super VL。在 Blackwell GPU 上，该模型完全以 4 位精度运行，而较旧的显卡仅以 4 位存储权重，并以 16 位进行数学运算。模型中敏感的部分保持更高精度。为防止质量损失，Nvidia 对压缩版本进行了训练，使其输出与未压缩的原始版本相匹配。

Two bar charts showing Nemotron 3.5 Super VL on 16 B200 GPUs with and without Nvidia Dynamo. With Dynamo, the number of users served jumps from about 60 to over 500, and time to first token drops from 2.75 to roughly 0.4 seconds. — 根据 Nvidia 的说法，借助 Nvidia 的推理软件 Dynamo，Super VL 可服务的用户数量提升八倍，同时将首字生成时间缩短 85%。| 图片来源：Nvidia

内置的草稿组件会提前提出若干 token，然后主模型在单次前向传递中加以验证。在 DGX Spark 上，Nvidia 建议使用其自有的 LiLiCorr 方法，该方法会综合评估所有草稿 token，以获得更连贯的输出。Nvidia 表示，与不使用投机草稿相比，这种方法可将文本生成速度提升最高 2.3 倍。

智能体在每次请求时都会发送相同的指令、工具描述和对话历史，因此 Super VL 会缓存这些重复部分的计算结果，而不是每次都重新运行。Nvidia 的推理软件 Dynamo 还会将来自同一会话的请求路由到已持有该会话缓存的 GPU。在 16 块 B200 GPU 上，这使得 Super VL 能够服务的并发用户数量提升八倍，首字生成时间下降 85%。

Super VL 无需单独的视觉模型即可解析表格、图表和 PDF

在视觉方面，Nvidia 重点关注智能体日常工作中的常见材料，包括 OCR、表格、图表、多页文档和视频。Super VL 可以解读图表，将其与同一文档中其他位置的表格关联起来，并对两者进行总结，而无需单独的图像模型。

根据 Nvidia 的数据，在图表基准 CharXiv 上，Super VL 得分为 80.8%，而较旧的 Nemotron 3 Nano Omni 为 63%。当该模型还能运行 Python 代码时，分数会升至 84%。Nvidia 表示，在 OCRBench v2 排行榜上，它位列最佳开源模型之中。

本地智能体仍然需要昂贵的硬件

Bolt 74B-A9B 24GB 是 Super VL 的精简版本，采用混合专家模型构建，其 740 亿参数中每步仅激活 90 亿。为了将其压缩进 24 GB 内存，Nvidia 对权重采用了激进的 2 位量化。

根据 Nvidia 的说法，Bolt 适合日常本地任务，例如智能体需要执行多个步骤、调用工具或搜索网络。用户可以让它编写和调试代码，或找出哪些 PC 组件适合他们的系统。

该模型针对 Nvidia 的 RTX Spark（一款面向支持 AI 的 Windows 笔记本电脑的新芯片）以及 DGX Spark（一款配备高达 128 GB 共享内存的紧凑型 AI 工作站）进行了优化。它还可运行于 GeForce RTX PC、DGX Station 和 RTX PRO 工作站，并支持 llama.cpp、Ollama、LM Studio 和 vLLM。

即便经过高度压缩，24 GB 仍是一个很高的门槛。只有昂贵的高端硬件才提供这么大的内存，而以当前的 GPU 价格，大多数消费者难以承受这笔成本。目前，这款本地智能体面向开发者和强大工作站的用户。

对于性能较弱的设备，Nvidia 规划了 Bolt E4B 4GB，但尚未发布。它设计用于 GeForce RTX 显卡、Jetson 模块以及 RTX/DGX Spark，可为语音助手、交互式角色或设备界面提供支持。该模型理应能进行自然的对话，同时在多轮交互中使用工具，并了解当前应用中正在发生的事情。

早期采用者遍布金融与网络安全领域

Nvidia 表示，数十家组织已经在针对自身需求对 Super VL 进行微调，主要来自文档负担重且数据敏感的行业。Scale AI 为媒体公司 Skydance 的一个处理供应商贷记单的智能体适配了该模型，成本预计降至四十分之一，响应时间缩短至五分之一。Ramp 使用该模型将收据照片转换为结构化数据，并期望响应速度提升十倍。EY 将其用于收购尽职调查，Hebbia 则用它分析信贷协议。

Scatter plot comparing small models under 24 GB by GDPval-v2 score and speed on the AIPerf SPEED-Bench. Nemotron Bolt 24GB lands at roughly 78 tokens per second and just under 28 points, ahead of Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and Muse Glimmer 30B. — 在 24 GB 以下的模型中，Nemotron Bolt 提供了速度与任务质量的最佳组合，据 Nvidia 所述。 | 图片来源：Nvidia

第二波采用者来自网络安全领域。AI21 为安全公司 Alice 微调了 Super VL，该公司用它分析威胁和漏洞，据 Nvidia 称准确率提升了 40%。Dream 使用该模型挖掘漏洞，CrowdStrike 正在构建防御企业网络的智能体。Salesforce 计划将政府工作流程自动化，R1 正在审计医疗账单，Perplexity、达索系统和 Mercor 也在使用该模型。

Nvidia 发布数据集和训练配方

Nvidia 发布的权重包括基础版本、后训练版本和一个 4 位压缩版本，同时还发布了数据集和训练配方以及强化学习环境。这使得 Super VL 比许多开放权重模型更加开放，后者通常只共享权重。

据 Nvidia 称，该模型在预训练和持续预训练阶段使用了超过 25 万亿个 token 进行训练，后训练和强化学习又在约 100 个开放训练环境中增加了大约四百万个样本。

在 Hugging Face 上，Nvidia 还发布了多个数据集，其他开发者可以用它们来训练或微调自己的模型。这些数据集涵盖智能体如何使用工具、遵循指令、处理长文本和理解图像，另一些数据集则涉及金融、安全与公平性。

其中一个数据集针对印度使用的语言。Nvidia 与马德拉斯印度理工学院及其 AI 实验室 AI4Bharat 共同构建了该数据集，包含约 2.83 万亿个 token 的 22 种印度语言文本。

Bar chart comparing Sarvam-105B, Gemma-4-31B-it, and post-trained Nemotron 3.5 Super VL across five Indic-language benchmarks. Super VL leads in all of them, most clearly in Indic FrontierMath with 58 versus 27 and 22 points. — 使用印度语言数据集微调后，Super VL 在印度语言基准测试中击败了 Sarvam-105B 等更大的专用模型。 | 图片来源：Nvidia

开放模型为 Nvidia 硬件带货

Super VL 可在 DGX Spark、DGX Station、RTX PRO 和 RTX 等桌面系统上运行，也可在边缘设备中的 Jetson 模块以及数据中心和云端运行。通过 Nvidia NIM，企业可以将该模型作为开箱即用的微服务部署，并附带经过验证的配置和支持，计划每两周更新一次。权重已在 Hugging Face 上提供，分别为 Nemotron 3.5 Super VL 120B-A12B 和 Nemotron 3.5 Bolt 74B-A9B 24GB。

Nvidia 以开放方式发布这些模型，但将其针对自家产品进行了优化，从数据中心服务器到工作站。任何想充分发挥 Nemotron 性能的人最终都会购买 Nvidia 硬件。

英伟达开放模型背后的策略是自私自利的。越多的公司运行自己的开放模型，对算力硬件的需求就越大，而且在可预见的未来，开放模型很可能继续针对英伟达进行优化。与此同时，Meta、Google、Anthropic 和 OpenAI 等公司正在打造自己的芯片，并为这些芯片优化模型。为了进一步推动开放 AI 模型的普及，英伟达最近向 Hugging Face 投资了 129 亿美元，后者是开发和共享这类模型最重要的平台之一。