NVIDIA 发布 Minerva,为 AI 工厂提供端到端可观测性
NVIDIA Unveils Minerva to Bring End-to-End Observability for AI Factories
NVIDIA 发布 AIOps 平台 Minerva,汇集 GPU、网络、存储、调度器和工作负载的遥测数据,构建动态知识图谱,帮助运维团队更早发现问题、提升 AI 工厂产出。
今日发布的 NVIDIA Minerva 是一个 AIOps 平台,旨在帮助团队更早发现问题,保持 AI 工厂的高效运转。它汇集来自基础设施和 AI 工作负载的遥测数据,然后应用专门构建的 AI 模型,将这些数据转化为及时、可操作的洞察。
AI 工厂是世界上最复杂的运营之一,大量 GPU 通过高速网络协同工作,训练模型并为 AI 应用提供服务。在这种规模下,一个性能下降的组件就可能拖慢整个作业。预警信号可能很容易被忽略,比如某块 GPU 比同组其他 GPU 运行温度更高,或某块 NVMe 硬盘在负载下性能下降。
该平台聚焦于 AI 工厂良率,即通过 GPU 小时、有效吞吐(goodput)、集群在线时间和 token 产出衡量基础设施所产生的有效工作。
提供 AI 工厂的动态视图
传统监控工具往往将数据中心划分为彼此割裂的视图。网络、计算、站点可靠性和机器学习团队各自只能看到运营的一部分。Minerva 则将这些信号连接起来,横跨 NVIDIA 的 GPU、网络、存储、调度器和工作负载。
借助这些信号,Minerva 构建了一个动态知识图谱,在逻辑上映射基础设施——GPU、SuperNIC、交换机和线缆——以及其上运行的作业。这种上下文有助于操作人员将运行缓慢的训练作业追溯到影响它的组件,即使是在拥有数十万块 GPU 的工厂中也是如此。
它每小时分析数十亿个数据点,使用有监督和无监督机器学习。它会学习正常行为、检测前所未见的异常、预测即将发生的故障,并根据工厂拓扑结构关联相关事件。它不会把每个症状都推送给操作人员,而是能将事件风暴归组为一条聚焦的事件,并给出可能的根本原因。
Minerva 内置原生 AI 助手,并可连接外部智能体 AI 工具。这提供了一个基于实时遥测数据的自然语言界面。操作人员可以通过对话调查集群健康状况并获得推荐的修复措施。团队可以让人员参与流程以手动实施修复,也可以通过基础设施应用程序编程接口和外部系统将 Minerva 接入自动化流程。
最大化 AI 工厂良率的成果
关联工作负载与基础设施问题的能力,加上其智能体 AI 能力,有助于简化 AI 工厂运营。Minerva 不再让团队应对铺天盖地的警报,而是将相关问题聚合为一条可操作的事项。这使得 AIOps 团队能够从被动响应转向主动维护。这一切都有助于 AI 工厂最大化 GPU 在线时间。
Minerva 为 AI 工厂关注的关键指标带来价值:
- 更长的无中断运行时间:Minerva 在问题发生前发现隐患,使作业能够更长时间无故障运行。
- 更快的修复时间:当事件确实发生时,Minerva 能精确定位问题,从而显著加快解决速度。
- 更深入的洞察:现代 AI 基础设施会产生海量数据;Minerva 将其过滤,只留下真正重要的少数警报。
IREN 是使用 Minerva 优化其 AI 工厂的 NVIDIA 合作伙伴之一。
IREN 首席技术官 Denis Skrinnikoff 表示:“在扩展 AI 工厂的过程中,为客户提供最佳服务的关键在于最大限度地提高 GPU 的生产力。NVIDIA Minerva 让我们的运营团队能够通过统一的视图纵览网络、GPU 以及其上运行的任务,从而更专注于主动维护而非故障排查。这种可见性将强化我们为下一代基础设施所构建的运营模式。”
IREN、Aolani、Bitdeer AI、IBM、Jio、Lambda、Quake AI 和 Tesla 计划部署 Minerva。
除 Dell Technologies 之外,联想 和 Supermicro 也将把 Minerva 纳入其 AI 工厂运营产品组合中提供。
详细了解 NVIDIA Minerva。
请参阅有关软件产品信息的声明。
来源: NVIDIA Blog · blogs.nvidia.com