跳到正文
NVIDIA Blog· Warren Barkley·· 2 小时前精选AI 评分65

NVIDIA 捐赠 OpenShell 给 CNCF 并发布 DSX AI Factory Platform 新组件

NVIDIA Expands Open Source Commitment With OpenShell Donation and New AI Infrastructure

AI 导读

NVIDIA 在 KubeCon 上宣布将开源运行时 OpenShell 捐赠给 CNCF 作为 Sandbox 项目,用于对自主 Agent 施加确定性控制并治理其工具使用与推理访问,上线不到一年已有数百家组织使用。

推荐理由

官方宣布多项目开源捐赠与新增组件,给出 Snapshot 实测启动时间数据,读者可评估其 AI 工厂基础设施方案的落地程度。

正文 · AI 翻译

Kubernetes 这个开源系统管理着应用程序如何在数千个 AI 工厂中运行,它已成为 AI 的基础,而对其的需求还在不断增长。

为了满足这些需求,NVIDIA 在 Kubernetes 与云原生社区的旗舰大会 KubeCon + CloudNativeCon 上深化了对开源的承诺。

NVIDIA 正向云原生计算基金会(CNCF)贡献 NVIDIA OpenShell——一个用于保护和治理自主智能体的开源运行时。CNCF 是 Linux 基金会旗下的非营利组织,也是 KubeCon 的主办方。作为 CNCF 沙箱项目,OpenShell 将由正在把其构建进产品中的组织共同治理,并借助全球安全专家的专业力量不断增强。

NVIDIA 还参与了 Agent Substrate 的开发,这是一个由 Google 主导的开源框架,用于在 Kubernetes 上大规模运行长时智能体工作负载,并已被 CNCF 沙箱接纳。

此外,NVIDIA 宣布了 NVIDIA DSX AI 工厂平台的新组件:NVIDIA Kubernetes Engine、NVIDIA Kubernetes Recipes 和 NVIDIA Snapshot。这些工具帮助团队在 Kubernetes 上为 AI 工厂部署、管理和扩展 GPU 基础设施。

这些进展共同标志着在让 Kubernetes 成为大规模 AI 工作负载领先基础的道路上又迈出一步——助力开发者为未来构建更安全、更高效的 AI 基础设施。

在开源中保障 AI 智能体安全

NVIDIA 向 CNCF 贡献 OpenShell,将自主智能体的安全基础设施交到社区手中,供其构建、审查和改进——从而加速开发并强化其安全防护。 

“云原生社区面临一个新的基础设施挑战:为智能体提供安全的运行环境,”Linux 基金会 CEO Jim Zemlin 表示。“NVIDIA 向 CNCF 贡献 OpenShell,为开发者提供了一个可以共同构建的基础,也让大家有机会塑造智能体安全的演进方向。将这项工作带入社区,将促成对下一代云原生应用至关重要的基础设施方面的更广泛协作。”

OpenShell 让组织能够掌控 AI 智能体可以做什么。它对智能体活动施加确定性控制,因此团队可以在智能体使用工具、访问推理服务和执行工作负载时实施策略。其可扩展架构让团队能够接入自己的计算资源、推理提供商、凭据存储和监控工具。这使得组织能够在不同部署环境中实施治理,同时将 OpenShell 与现有企业系统集成。

已有数百家组织在使用 OpenShell,项目自发布以来不到一年就收到了数以万计的贡献。 

在 Kubernetes 上扩展智能体执行

治理智能体只是挑战的一部分。组织还需要大规模部署智能体。

NVIDIA 正在为 Agent Substrate 做出贡献,这是一个源自 Google 的 CNCF Sandbox 项目,并确保它能与用于模型推理的 NVIDIA Dynamo 以及用于共享集群资源分配的 KAI Scheduler 协同工作。这项工作将智能体执行、推理服务和 Kubernetes 上的资源调度整合在一起。

Agent Substrate 在任务之间保留智能体环境,并在智能体空闲时释放计算资源。通过在共享智能体池中挂起和恢复这些环境,它让团队无需为每个会话保留专用计算资源即可扩展智能体工作负载。 

NVIDIA 和 Google 还在合作进行 OpenShell 与 Agent Substrate 的集成,使企业能够跨云端和本地系统对智能体进行安全防护和治理。

构建 AI 工厂的开放基础

AI 工厂需要向客户提供托管的 Kubernetes 服务,同时保留对其基础设施、软件和客户体验的控制。三个新的开源项目扩展了 DSX AI Factory 平台,使 Kubernetes 更易于运行,推理更快地扩展。

The NVIDIA DSX AI Factory Platform software stack, from GPU infrastructure and Kubernetes management to workload orchestration and model serving.
NVIDIA DSX AI Factory 平台软件栈,涵盖从 GPU 基础设施和 Kubernetes 管理到工作负载编排和模型服务的各个方面。

NVIDIA Kubernetes Engine (NVKE) 和 NVIDIA Kubernetes Recipes (NVKR)——现已开放公开预览——为在 GPU 基础设施上提供托管 Kubernetes 服务提供开源构建模块。它们可自动执行集群生命周期管理,并提供签名且版本锁定的镜像。

NVKE 和 NVKR 发布时获得了生态系统的支持,将其影响力扩展到 AI 基础设施平台和云服务。Mirantis、Netris、OpenNebula Systems、Rafay、Spectro Cloud 和 vCluster,以及 Firmus 和 SK Telecom,已与 NVIDIA 就集成计划达成一致,将 NVKE 和 NVKR 能力引入各自的产品中。

NVIDIA Snapshot 解决了快速上线额外推理容量的挑战。加载模型和预热工作负载可能会延迟扩展和恢复。这个开源的模块化组件可在数秒内恢复已保存检查点的副本,无需重新加载模型或预热,为 Kubernetes 上的推理和智能体工作负载提供更快的启动、恢复和弹性能力。 

设计合作伙伴 Crusoe 和 Saturn Cloud 使用 NVIDIA HGX B300 系统在其自身工作负载上评估了 Snapshot。Crusoe 是 Snapshot 的上游贡献者,在 Crusoe Cloud 上测试了 GLM-5.3,将该工作负载就绪的时间从约八分钟缩短到 31 秒。Saturn Cloud 是一个 token 工厂平台,针对从零扩展推理对 Snapshot 进行了基准测试,将 vLLM 的启动时间从 2 到 8.5 分钟缩短至 6 到 34 秒。

参加 NVIDIA 在 KubeCon 的活动了解更多。

来源: NVIDIA Blog · blogs.nvidia.com