NVIDIA 发布 Nemotron 3.5 Embed、Rerank 和 Parse 开源检索模型

智能体的回答取决于它能够检索到的证据。当证据不完整或不相关时，智能体会反复搜索并查看更多文档，在完成任务之前消耗更多推理 token。更好的检索可以帮助智能体以更少的无效 token 得出有依据的答案。在企业规模下，这种浪费会导致巨大的低效。智能体需要合适的检索模型和系统才能更快地获得洞察。

今天，我们正在扩展 Nemotron Retriever 系列，推出新的开源、可商用的嵌入、重排序和文档提取模型。新模型包括 Nemotron 3.5 Embed 8B BF16、1B BF16、1B NVFP4、Nemotron 3.5 Rerank 8B BF16 以及 631M 参数的 Nemotron 3.5 Parse。

这些最先进的模型共同为企业智能体工作流带来了多模态检索、相关性排序和文档处理能力。

更好的检索，更高效的智能体

检索质量既影响智能体生成的答案，也影响 LLM 推理成本。相关的证据可以帮助智能体回答问题或更好地决定下一步操作，而重排序则能提升进入其上下文的证据质量。

设想一个被要求识别下季度有缺货风险的产品并解释原因的智能体。它必须结合图表中的需求预测、表格中的库存水平以及报告中的供应商交货周期，然后推理补货能否在库存耗尽之前到达。完成这项任务需要在各文档中找到相关证据，并在分析中综合使用这些证据。

为了了解检索如何影响智能体组合证据和完成任务的能力，我们在 ViDoRe v3、BRIGHT 和 BrowseComp-Plus 上评估了 Nemotron 3.5 Embed 和 Rerank。ViDoRe v3 使用文本和图像组合输入，而 BRIGHT 和 BrowseComp-Plus 使用纯文本输入。在此流水线中，智能体使用搜索工具查询语料库，检查证据，并改进下一次搜索尝试，以找到与给定查询最相关的信息。以下实验改变了搜索工具的实现方式：仅用嵌入、嵌入加重排序，以及为每个环节使用不同的模型。驱动智能体的 LLM、工具、任务集、语料库和执行策略保持不变，仅改变检索配置。我们测量智能体为每个任务找到相关信息的能力以及每个任务的总智能体推理 token 数，包括所有轮次的输入和输出 token。

图 1. 不同检索配置下的端到端任务成功率与每任务总智能体推理 token 数对比。

• 更低的智能体推理成本：添加 Nemotron 3.5 Rerank 后，使用 Nemotron 3.5 Embed 8B 时每个查询的智能体 token 成本降低约 14%，使用 Nemotron 3.5 Embed 1B 时降低 13%，同时两种配置下的检索准确率均有所提升。
• 相同智能体预算下更好的证据：以 Nemotron 3.5 Embed 8B 作为检索器时，在相近的智能体 token 成本下，Nemotron 3.5 Rerank 的 nDCG@10 比 Qwen3-VL-Reranker-8B 高约 0.9 分。

Nemotron 3.5 Embed 和 Rerank

在这些智能体成功案例的背后，是 Nemotron 3.5 Embed 和 Nemotron 3.5 Rerank，它们跨文本和图像检索证据，并将其优先提供给智能体的上下文。Nemotron 3.5 Embed 在上一代 Nemotron 3 Embed 文本嵌入模型的基础上构建，可以从文档图像中检索证据，包括表格、图表、信息图、数据表和原理图。这使应用程序能够同时搜索视觉内容所传达的信息和文档文本。

这四个模型为检索和第二阶段排序提供了不同的选择：

表 1. Nemotron 3.5 Embed 和 Nemotron 3.5 Rerank 各规格与变体的模型能力及用例。

主要特性包括：

• 文本和图像检索：搜索文档文本以及包含表格、图表、信息图、数据表和原理图的图像。
• 多语言支持：文本检索在 34 种语言上进行了评估，多语言视觉检索则在 MIRACL Vision（18 种语言）和 KoViDoRe 上进行了评估。模型可能还支持评估范围之外的其他语言。
• 多模态重排序：一个 8B 交叉编码器对文本和图像输入的查询—文档对进行评分。
• BF16 和 NVFP4 部署：1B 嵌入模型提供 BF16 和 NVFP4 两种版本，量化同时应用于文本和图像编码器。
• 领域适配：Nemotron 嵌入微调方案支持自定义文档集合，在图表和信息图实验中，Nemotron-3.5-Embed-1B-BF16 和 Nemotron-3.5-Embed-8B-BF16 的 nDCG@10 分别相对提升了 18% 和 3%。

在 ViDoRe v3 上领先的多模态稠密检索

在 ViDoRe v3.1 上，Nemotron 3.5 Embed 8B BF16 取得 61.17 nDCG@10，在稠密检索模型中排名第一。相比 Llama Nemotron Embed VL 1B 模型取得的 52.23 分，提升了 8.94 分。1B 模型以更小的体积带来了该模型大部分的视觉检索质量。从 8B 教师模型蒸馏而来的 Nemotron 3.5 Embed 1B BF16 得分为 58.38 nDCG@10，保留了教师模型 95.4% 的分数。

图 2. 截至 2026 年 10 月 20 日，Nemotron 3.5 Embed 8B BF16 在 ViDoRe v3.1 排行榜的稠密检索模型中排名第一。

我们还在 ViDoRe v3、Korean ViDoRe 和 MIRACL Vision 上将这些模型与 Qwen3-VL-Embedding、EmbeddingGemma-2 以及上一代 NVIDIA 模型进行比较。下图报告了纯图像输入和图像加文本组合输入的检索准确率。

图 3. Nemotron 3.5 Embed 与上一代模型及部分基线模型的文本和视觉检索性能对比。

多语言结果显示了模型在不同语言环境下检索证据的能力。在 MIRACL Vision 上，8B 模型取得 72.6 nDCG@10，超过 Qwen3-VL-Embedding-8B 4.3 分。我们还在 KoViDoRe 上评估了这些模型；在使用图像与文本组合输入时，Nemotron 3.5 Embed 8B 和 1B 均优于 Qwen 基线模型。

为智能体任务重排序证据

嵌入模型通过将内容表示为向量，使大规模文档集合变得可搜索。在检索返回候选集之后，Nemotron 3.5 Rerank 8B BF16 会针对查询评估每个候选项，以优化文本和图像输入的排序结果。通过区分宽泛相关的内容与直接回答问题的证据，重排序器帮助智能体更有效地利用其上下文预算，并专注于完成任务所需的信息。对于智能体检索系统而言，更早地呈现最强证据可以减少干扰性上下文，帮助智能体生成更有依据、更高效的回复。

我们与 MTEB 团队合作，推出 ViDoRe v3.1 重排序排行榜，用于在仅图像、仅文本以及图文组合输入的文档检索上对重排序器进行基准测试。Nemotron 3.5 Rerank 8B BF16 在图文组合输入下取得 60.49 nDCG@10，而 Qwen-3-VL-Reranker-8B 为 59.17。

图 4. 截至 2026 年 10 月 20 日，Nemotron-3.5-Rerank-8B-BF16 在 ViDoRe v3.1 重排序排行榜上排名第一。

图 5. Nemotron 3.5 Rerank 8B 与 Qwen 3 VL Reranker 8B 的文本和视觉重排序性能对比。两个模型均对 Nemotron 3.5 Embed 1B 模型检索出的前 50 个候选项进行了重排序。

借助 NVFP4 扩展多模态检索

检索质量只是生产级智能体系统的一部分。随着文档集合和查询量的增长，团队必须在准确性、吞吐量和基础设施需求之间取得平衡。

Nemotron 3.5 Embed 1B NVFP4 为高吞吐多模态检索提供了优化的部署选项。在 NVIDIA GB200 上，与 1B BF16 模型相比，它带来了 27.1% 的吞吐量提升，从每秒 101.3 个文档提升至 128.8 个，同时在 ViDoRe v3 图文组合输入上保留了 99.85% 的检索准确率。如图 6 所示，NVFP4 模型为需要跨生产工作负载扩展检索的团队提供了出色的准确率-吞吐量权衡。

这种部署灵活性可以与领域定制相辅相成：团队可以选择适合其基础设施的模型权重数据类型，然后将嵌入和重排序模型适配到自己的术语、文档和检索任务上。

图 6. ViDoRe V3 检索准确率与服务效率对比，比较 Nemotron 3.5 Embed 与部分较小的开源嵌入基线模型。

使用 NVIDIA NIM 实现高性能推理服务

NVIDIA NIM 为 Nemotron 3.5 Embed 提供了高性能的部署路径。在 NVIDIA RTX PRO 6000 Blackwell 服务器版上的测试中，NIM 实现了每秒 6,031 次查询请求——约为同等 vLLM 配置（每秒 2,099 次请求）吞吐量的 2.9 倍——同时保持了相当的段落处理吞吐量。这一优化的服务堆栈帮助企业以生产就绪的部署和支持扩展检索工作负载。

图 7. 在 NVIDIA RTX PRO 6000 Blackwell 服务器版 GPU 上，Nemotron 3.5 Embed NIM 的服务性能与 vLLM 检查点的对比。

将检索适配到特定领域任务

企业智能体通常需要搜索包含专业术语和公司特有信息的文档，而通用检索模型可能无法完全捕捉这些内容。微调使团队能够使用自己的文档、查询和相关性标签，将 Nemotron 3.5 Embed 和 Rerank 适配到其特定领域和用例。

Nemotron 多模态嵌入微调配方将合成数据生成、难负样本挖掘、使用 NVIDIA NeMo AutoModel 进行微调以及评估整合在一个工作流中。团队可以从自己的文档生成查询和相关性标签，为检索任务构建训练数据。

我们使用由 Qwen3.8-Flash-Next 生成的 8,591 条合成查询，在 8,202 张图表和信息图图像上评估了该配方，重点关注具有多张相关图像的枚举型和开放式查询。在 6,872 条查询上对 Nemotron-3.5-Embed-1B-BF16 进行一个 epoch 的微调后，在 1,719 条留出的合成查询上，nDCG@10 从 37.34 提升到 44.12，相比基础模型获得 18% 的相对提升。使用相同的合成查询集，对 Nemotron-3.5-Embed-8B-BF16 进行一个 epoch 的微调后，nDCG@10 从 41.44 提升到 42.75，相对提升 3%。

我们如何构建 Embed 和 Rerank 模型

Nemotron 3.5 Embed 8B 基于 Ministral-3-8B-Instruct 构建，其语言组件由 Nemotron-3-Embed-8B-BF16 初始化。该模型在图像和文本语料库上通过对比学习进行训练，以产生用于多模态检索的表示。

Embed 1B 模型由 Nemotron 3.5 Embed 8B 蒸馏而来，其语言组件由 Nemotron-3-Embed-1B-BF16 初始化。蒸馏结合了余弦损失和均方误差（MSE）损失，以将学生模型的嵌入与教师模型的嵌入对齐。

在嵌入模型训练过程中，语言组件保持冻结。因此，纯文本嵌入预计与相应的 Nemotron 3 Embed 模型保持不变，从而可以复用现有的文本嵌入和向量索引。

Nemotron 3.5 Rerank 采用与 Nemotron-3.5-Embed-8B 相同的骨干架构，以交叉编码器配置运行。嵌入模型分别编码查询和文档并计算它们的相似度得分，而重排序器则联合编码每个查询–文档对。最后由多层感知机（MLP）评分头输出一个标量相关性 logit。

所有模型均在公开可用的和合成的多语言、多模态数据混合上进行训练，其最终发布的权重通过检查点集成产生。有关训练数据的更多细节可在各模型的 Hugging Face 模型卡中查看。

Nemotron 3.5 Parse

企业知识常常以 PDF 的形式出现，其中嵌入的文本只能捕捉页面内容的一部分。提取这些文本可能会打乱阅读顺序、使表格数值与表头分离，或遗漏图表中传达的信息。扫描文档和基于图像的 PDF 甚至可能完全没有可用的文本层。在这些信息能够支持搜索、检索或自动化文档工作流之前，需要先将像素转化为结构化内容。

Nemotron 3.5 Parse 将文档图像转换为机器可读的文本，同时保留赋予内容意义的结构。它能识别文档元素及其位置和阅读顺序，并将表格和图表提取为结构化表示。生成的 Markdown、HTML 表格和结构化块为开发者提供了更适合索引、搜索和下游处理的内容。应用程序可以检索带有上下文的段落，按行和列处理表格，并将提取的证据链接回原始页面上的位置。

Nemotron 3.5 Parse 拥有 6.31 亿参数，可将这一能力大规模应用于文档处理流水线，与 Nemotron 3.5 Embed 和 Rerank 相辅相成，为检索和智能体工作流提供结构化信息。

更快的文档处理速度与领先的准确率

图 8. 截至 2026 年 10 月 20 日，Nemotron 3.5 Parse 在 ParseBench 排行榜上位列参数量少于 10 亿的模型之首。

Nemotron 3.5 Parse 在参数量少于 10 亿的模型中位列 ParseBench 榜首，得分 75.20，同时在单块 NVIDIA H100 上以每秒 10.5 页的速度处理文档。凭借优化良好的参数分配、多 token 预测、投机解码和灵活的原生分辨率处理，它实现了同级最佳的推理速度。ParseBench 测试表格和图表提取、内容忠实度、语义格式化以及视觉定位。

开发者可以使用同一个模型，在速度和准确率之间进行扩展。单遍推理对每页只提取一次，可获得最高吞吐量。双遍推理会重新处理初始页面解析中识别出的表格和图表。三遍推理则增加一个检测步骤，以找出更多需要精细处理的区域。这种方法将额外的处理集中在那些需要仔细查看的文档区域上。

表 2. 模型准确率能够通过增加处理遍数而提升，吞吐量仅略有下降。对表格和图表的局部区域进行重新处理可提高准确率。

在本对比中，这三种配置均处于帕累托最优：没有其他参与对比的配置能同时实现更高的准确率和更高的吞吐量。团队可以根据自身工作负载选择合适的运行点，从快速摄取大量文档集合，到对复杂页面进行更细致的提取。

图 9. Nemotron Parse 3.5 在 ParseBench 排行榜上实现了帕累托最优性能。

我们如何构建 Nemotron 3.5 Parse

Nemotron 3.5 Parse 在多样化的企业文档、科学论文、表单、表格、图表和多语言文本混合数据上训练。一个强大的合成数据引擎扩展了模型所见的布局、结构和语言范围，与自动标注文档和人工标注数据形成互补。合成多语言数据有助于构建广泛的 OCR 能力，在覆盖 163 种语言和文字组合的评估中表现强劲。这种多样性使模型能够应对企业文档集合中的各类内容。模型卡与多语言覆盖范围。

我们进一步通过群体相对策略优化（GRPO）提升鲁棒性和可靠性，使用自定义奖励函数来强化正确的文档结构并惩罚失败。这一后训练过程减少了重复生成循环和未闭合的块，提高了表格一致性，并增强了对图表模式的遵循度，使提取的信息在下游文档工作流中更加可靠。

感谢 LightOn 用他们的模型和技术博客提升了开源标准。这些共享的技术对我们改进模型至关重要。

早期企业合作伙伴评估

• Elastic 客户可以通过 Elasticsearch 的 Inference API 使用 NVIDIA 推理端点来访问 NVIDIA Nemotron Retriever 嵌入和重排序模型。Nemotron 3 将很快通过 Elastic Inference Service（EIS）提供，同时在本地部署 Nemotron 模型的支持也已列入路线图。
• Vectorize 使用 Hindsight Agent Memory 评估了 NVIDIA Nemotron 3.5 Embed，它在两项长对话记忆基准上排名第一：在 LoCoMo 上达到 93.8% 的 recall@10，在 BEAM 100K 上达到 65.9%，领先其他七个嵌入模型。它还取得了最高的 MRR 和 recall@5，凸显了其在长而复杂的对话历史中检索相关记忆的能力。
• Perplexity 在 Q2D-Web 基准上观察到 NVIDIA Nemotron 3.5 Embed 的强劲表现。在其最新评估中，NVIDIA Nemotron 3.5 Rerank 8B 在私有的 72 项任务重排序基准上获得了最高平均分，并在全部六个领域中均有出色表现。这些结果凸显了专用检索模型与 Perplexity Decider 系列等通用决策模型搭配使用的价值。
• Turbopuffer 在企业 PDF 搜索基准上评估了 NVIDIA Nemotron 3.5 Embed 8B，发现其在 Recall@20 上比次优模型多提供约 5% 的相关结果。这些模型在常见业务任务（如搜索包含复杂图像的 PDF）上达到了 SOTA 水平，现已在 Turbopuffer 原生嵌入中可用。

开始使用

开发者可以在 Hugging Face 上访问开放权重、数据、训练配方等，部署 NVIDIA NIM 用于生产推理，或通过领先的 AI 云和推理合作伙伴部署这些模型，包括 Baseten（Embed、Rerank、Parse）、DeepInfra（Embed 1B、Embed 8B、Rerank 8B）和 FriendliAI（Embed 1B、Embed 8B、Rerank 8B）。

• Nemotron-3.5-Parse：Hugging Face、NIM
• Nemotron-3.5-Embed-8B-BF16: Hugging Face、NIM
• Nemotron-3.5-Embed-1B-BF16: Hugging Face、NIM
• Nemotron-3.5-Embed-1B-NVFP4: Hugging Face、NIM
• Nemotron-3.5-Rerank-8B-BF16: Hugging Face、NIM

对于使用 NVIDIA AutoModel 进行领域适配，我们为多模态嵌入和重排序提供 微调 支持，使团队能够将模型适配到自己的文档集合和相关性需求。欢迎通过 Nemotron 的 嵌入 和 重排序 微调方案上手。

根据您的工作流选择模型：Parse 用于从文档中提取结构化信息，Embed 用于搜索文本和图像，Rerank 用于改进检索结果的排序。将它们组合起来，即可构建为 AI 智能体提供更强证据的检索流水线。

致谢与主要贡献者

Nemotron 3.5 Retriever 的发布是 NVIDIA 内部众多团队和人员出色协作的成果，主要贡献者包括

Ronay Ak、Yauhen Babakhin、Behzad Boroujerdian、Jiarui Cai、Ryan Chesler、Zoe Faul (cw)、Jennifer Hajduk、Steve Han、Oliver Holworthy、Isabel Hulseman、Bo Liu、Gabriel Moreira、Even Oldridge、Radek Osmulski、Denis Ovchinnikov、Julio Perez、Khang Pham、Alex Richards、James Rong、Jihyeon Ryu、Sohail Sahi、Regis Schiavi、Sean Sodha、Marek Wawrzos、Jakub Zakrzewski、Lucy Zhang、Yuhe Zhang。