NVIDIA 发布 Kumo Relational 关系型基础模型，无需训练即可在关系数据库上预测

TL;DR

NVIDIA Kumo Relational 是一个预训练的关系型基础模型，可直接在企业数据库上进行预测。给定一个预测查询，它会收集最多 10,000 条历史样本作为上下文，并通过单次前向传播预测流失、需求或欺诈等结果。它无需针对具体任务的训练、无需特征工程、也无需对数据表进行扁平化处理。Kumo Relational 是首个在常见关系型基准上超越监督式机器学习的少样本（few-shot）基础模型。在 15 个数据库上的 41 项任务中，它击败了监督式关系型深度学习模型和专家设计的梯度提升树流水线；在 SAP SALT 企业基准上，其平均倒数排名（MRR）超出 AutoGluon 集成模型 8%。它可扩展到拥有 5000 亿行以上的数据库，并可通过 NVIDIA 开源的 GPU 原生结构化数据模型库或以 NVIDIA NIM 的形式，供人类和智能体使用。

• 论文： https://arxiv.org/abs/2604.12596
• 文档： https://docs.nvidia.com/sdgm/rfm/overview

向结构化数据基础模型的转变

基础模型早已改写了语言和视觉领域的游戏规则。不久之前，生产环境中的 NLP 意味着每个任务一个专用模型，每个模型都要由各自的分词、词形还原和 n-gram 流水线来供数。LLM 让这一技术栈在很大程度上被淘汰，原因有三：它们比最好的任务专用模型更准确，部署到生产环境要简单得多，并且足够灵活，开启了智能体应用的新时代。

同样的转变如今正在结构化数据领域发生。关系型数据库支撑着世界上最关键的商业决策，但基于它们进行预测建模仍然需要数周的特征工程、针对具体任务的训练以及调优过的流水线。结构化数据基础模型基于同样的三个理由改变了这一切：

如今已具备更高的准确性：作为即插即用的替代品，这些模型已经超越许多生产流水线，尤其是 XGBoost。在 RelBench V1 分类任务上，Kumo Relational 平均以近 4 个 AUROC 点的优势超越基于专家设计特征的梯度提升树。在 SAP SALT 上，它开箱即用即可在工程特征上领先 XGBoost 7 个 MRR 点，微调后领先 13 个 MRR 点。这些结果为用 Kumo Relational 替换生产环境的 XGBoost 流水线提供了有力的理由。

简单与敏捷：一个预训练模型取代了针对各个任务的独立流水线。新的预测变成一条查询而非一个项目，ML 团队终于能够承接那些传统 ML 使其在组织各层级都因过于繁琐而难以构建的用例。

能够进行预测的智能体：LLM 让智能体能够读、写和推理。结构化数据基础模型让它们能够预判接下来会发生什么，例如哪位客户会流失，并据此采取行动。Kumo Relational 从设计上就可供智能体调用，其预测查询语言（PQL）为它们提供了一个提出预测性问题的简单接口。

今天，我们推出 Kumo Relational（论文，文档），一个将这一范式带入关系型数据的预训练基础模型。连接一个数据库，描述要预测什么，即可在单次前向传播中得到预测结果。无需任何训练。

Kumo Relational 的工作原理

大多数面向结构化数据的基础模型只能处理单个平面表。而现实世界的数据存储在关系数据库中：用户关联订单，订单关联商品，且都随时间演化。通过手动聚合（例如“最近 30 天的平均订单价值”）将这些关系展平成一行，会丢失细粒度的结构信号，并且需要大量人力。

Kumo Relational 是一个 关系基础模型，它直接在数据库上运行，尊重数据库的表、外键和时间戳。它在反映真实世界数据集的合成关系数据上进行一次性预训练，并通过 上下文学习 适配每个新任务，在推理时最多读取 10,000 个上下文示例。每个示例将某个实体在某个时间点周围的局部子图与其真实目标（例如“该用户已流失”或“该商品售出 142 件”）配对。

![NVIDIA Kumo Relational 系统概览：(a) 数据库集成，(b) 将自然语言转换为预测查询的提示界面，以及 (c) 为 NVIDIA Kumo Relational 模型提供输入的自动上下文生成，该模型可在多租户间横向扩展。]

图 1. Kumo Relational 系统概览。连接数据库，指定一个预测查询，其余工作——从上下文生成到模型推理——都由 Kumo Relational 完成。

要做出预测，Kumo Relational 需要做三件事：(1) 理解每张表内的值，(2) 关联跨表的记录，(3) 将带有已知目标的上下文示例与被预测实体关联起来。它的工作方式如下：

![Kumo Relational 架构：(a) 包含任务、用户、订单和商品表的上下文输入；(b) 注入上下文目标后表内的列注意力和行注意力；(c) 跨表的图注意力和跨样本注意力。]

图 2. Kumo Relational 架构：(a) 上下文输入，(b) 表内推理，(c) 跨表推理。

自动上下文生成：任务以 预测查询语言（PQL） 编写，这是一种声明式接口，你只需说明要预测什么，而无需说明如何预测。对于时间相关任务，Kumo Relational 会重放数据库的历史状态：它采样截至某个锚点时间戳的以实体为中心的子图，并根据该时间戳之后的事件计算每个目标，同时只向模型提供该时间戳之前的数据。这可以防止数据泄露。

表内推理：一个轻量级网络独立处理每张表，交替进行列注意力（关联同一列内的值）和行注意力（关联同一行内的特征）。模型会学习哪些列和行对当前预测重要，并在噪声传播之前将其过滤掉。

跨表推理：一个更大的网络通过基于主键/外键关系的图注意力，将行嵌入分布到关系结构中，并与跨上下文示例的跨样本注意力交替进行。关系推理就发生在这一步，例如将用户的个人资料与其交易历史关联起来。由于这一阶段处理的是行嵌入而非每张表中的每个单元格，该设计避免了二次方开销，并能扩展到大型上下文和更深的子图。

Kumo Relational 是如何构建的

Kumo Relational 在完全合成的关系数据上进行预训练，这些数据经过模拟，能够反映具有多样化预测查询的真实世界关系数据库。预训练分阶段进行，从单表逐步过渡到越来越复杂的关系结构。

预训练所需的多样化关系数据库很少公开，因此需要合成数据来填补空白。Kumo Relational 的数据生成器建立在 PluRel（Kothapalli 等人，ICML 2026）方法的基础上，该方法将单表数据生成器扩展到完整的关系数据库。Kumo 团队的成员参与了 PluRel 的开发，并是原论文的共同作者。PluRel 分三个阶段生成每个数据库：模式（schema）、行之间像真实数据那样聚簇的外键链接，以及由结构因果模型（Structural Causal Models）生成的、带有时间趋势和跨表依赖关系的列值。生成过程十分轻量，因此预训练数据实际上是无限的，并且 PluRel 论文表明，随着合成数据库的增加，预训练损失遵循幂律下降，其收益可以迁移到真实数据库上。

通过这种预训练，模型学会了跨表过滤、关联和聚合信息，而不依赖固定的聚合方式。当需要最高准确率时，Kumo Relational 也可以在特定数据集和任务上进行微调。

性能

在论文中，我们在来自 RelBench V1 和 V2、SAP SALT 以及 4DBInfer 的 15 个关系数据库的 41 个基准上对 Kumo Relational 进行了评估，涵盖电商、医疗、企业、社交和学术领域。这些数据集均未在预训练中出现过。Kumo Relational 在分类和回归任务上都超越了最强的监督模型，包括关系深度学习模型和专家构建的表格集成模型。在比较 RelBench V1 上各类关系模型与系统的 RelArena-α 排行榜上，它开箱即用地位于准确率-效率的帕累托前沿上：

![RelArena-α 排行榜散点图：横轴为每 1,000 个样本的中位推理时间（对数刻度），纵轴为以 Elo 表示的跨任务相对准确率。Kumo Relational 位于帕累托前沿，约 17 秒、Elo 1,842。得分最高的条目 rt-plurel 达到 Elo 1,878，耗时约 7,300 秒，慢了约 430 倍。其他所有基础模型、特征工程系统和监督模型的得分都低于 Kumo Relational，且运行更慢。]

图 3. RelArena-α 排行榜：跨任务 Elo 与每 1,000 个样本的中位推理时间（对数刻度）对比。在相近准确率下，Kumo Relational 比得分最高的条目快约 430 倍。

论文还报告，在 SAP SALT 企业基准上，Kumo Relational 在平均倒数排名（MRR）上超越大型 AutoGluon 集成模型 8%，超越近期的表格基础模型约 25%，而微调可将其对 AutoGluon 的领先优势扩大到 16%。它在严苛条件下也表现稳健：仅用 0.2% 的训练数据作为上下文就能有良好表现，在移除多达 75% 的外键链接时仍保持稳定，并且即使加入大量噪声列也几乎不出现性能退化。

局限性

Kumo Relational 在具有有意义关系和时间动态特性的数据上表现最佳，例如随时间变化的用户行为。在训练集非常庞大的任务上，任务特定的监督模型可能仍略胜于上下文内预测——我们的基准测试中上下文内预测最多使用了 10,000 个上下文样本。基础模型的微调正是为这种情况设计的。预测信号还必须在有限的跳数内可达，因此建议先对几张相关表进行聚焦查询，再按需扩展图。

演示

Kumo Relational 可原生地在数据库上运行上下文内学习：在内存中、通过数据库和数据仓库连接器，或通过一个能以高达 5 GB/s 的内存映射 I/O 处理 5000 亿+ 行数据的自定义图引擎。它已集成于 NVIDIA 新发布的 GPU 原生结构化数据模型库中，该开源库同样为我们同系列的模型 Kumo Tabular 提供支持。该库在首次使用时从 Hugging Face Hub 下载权重，因此你可以在支持 GPU 的 notebook 中加载模型并直接进行预测。下面的代码将上下文样本、预测实体及其相关表传给模型：

# pip install structured-data-models
import sdm

model = sdm.models.KumoRelational(device="cuda")
pred = model(
    # In-context training table (fkeys/timestamps/targets):
    x_context=...,
    y_context=...,
    # Prediction examples (fkeys/timestamps):
    x_query=...,
    # Multi-table information for context/prediction entities:
    related_context_tables=...,
    related_query_tables=...,
)

完整示例请参见该库的 关系型示例，其中包含完整的 RelBench 和 SAP SALT 流水线，以及如何采样每个实体的相关表。

若要将模型作为独立服务运行，可将其部署为 NVIDIA NIM，并在你的 notebook 中将开源的 structured-data-models-client 指向该服务。你用 PQL 编写预测，客户端会收集上下文样本和相关表，然后发送请求：

# pip install 'structured-data-models-client[relational]'
import sdm_client

client = sdm_client.SDMClient(url="http://localhost:8001")  # NIM URL
query = sdm_client.PredictiveQuery(
    # Prediction task in Predictive Query Language (PQL):
    "PREDICT COUNT(orders.*, 0, 30, days) FOR EACH users.user_id",
    # Multi-table data as pandas DataFrames (keys/links inferred):
    {"users": ..., "orders": ...},
)
pred = client.predict(
    # Context examples and related tables for the entities to predict:
    query.materialize(indices=[1, 2, 3]),
    model=sdm_client.KumoRelational(),
)

端到端运行示例请参见客户端的 示例 notebook，包括针对本地 NIM 和在 Databricks 上的运行。

使用 NVIDIA Kumo Relational 开始构建

NVIDIA Kumo Relational 现已发布。请阅读 研究论文，探索 快速上手 notebook，或开始在你自己的数据上进行预测。代码以 Apache 2.0 许可证发布，模型权重以 OpenMDW License Agreement 1.1 版发布。NVIDIA 相信可信 AI 是一项共同责任，我们已建立相关政策和实践，以支持广泛的 AI 应用开发。在按照我们的服务条款下载或使用时，开发者应与其支持的模型团队合作，确保该模型满足相关行业和用例的要求，并应对不可预见的产品滥用行为。如需报告模型质量、风险、安全漏洞或 NVIDIA AI 相关问题，请点击此处。

• 论文： https://arxiv.org/abs/2604.12596
• 文档： https://docs.nvidia.com/sdgm/rfm/overview
• 代码： https://github.com/NVIDIA/structured-data-models
• PyPI： https://pypi.org/project/structured-data-models/
• 客户端代码： https://github.com/NVIDIA/structured-data-models-client
• 客户端 PyPI： https://pypi.org/project/structured-data-models-client/
• 模型权重： https://huggingface.co/nvidia/Kumo-Relational
• 快速上手 notebook： https://github.com/NVIDIA/structured-data-models-client/blob/main/examples/local/relational.ipynb
• 相关研究： Predictive Query Language (PQL)、PluRel、Kumo Tabular

致谢

我们感谢整个 Kumo 团队的宝贵支持。特别感谢 Josh Przybylko、Adi Wadaskar、Hema Raghavan、Manush Murali、Raja Rao DV、Keti Jovanovska、Zack Drach、Vanja Josifovski、Myungwhan Kim、Blaž Stojanovič、Siyang Xie、Alan Krumholz、Effy Fang、Abdullah Al-chihabi、Disha Dubey、Devan Johnson、Joseph Oliveira、Angela Liu、Miha Pelko、Vedaant Jain、Sally Liu、Aleksandar S. Sokolovski、Alex Porter 和 Ramona Bendias。