AI 的隐性存储账单：推理会产生哪些遗留数据

请大多数高管想象 AI 的成本，他们想到的很可能是 GPU——一排排耗电数吉瓦的加速器——以及排队等芯片的漫长等待。但这种想象漏掉了一样东西：数据存储成本。

模型响应之后，数据会怎样？所产生的许多后端数据——来自每天数十亿次提示词、图像和视频——都需要存储。但数据存储是最难规划的基础设施成本之一，而且在初始 AI 基础设施规划中常被忽视。

随着推理规模的扩大，数据足迹也随之增长

传统上，关于 AI 基础设施的讨论都集中在训练模型的计算密集型过程上。训练是有限的：一次运行开始、消耗算力、然后结束。但推理是持续运行的，每次模型回答提示词都会运行。对基础设施规划而言，这一区别很重要：训练运行是一个可以预算并最终结束的项目。推理不会结束；每一次推理请求都会留下一些东西。

以 AI 生成的视频为例。在这类工作负载中，后端支出可能相当可观。根据内部测量，WD 发现一段 8 秒的片段（以 3.97MB 的 720p 文件形式返回给用户）在后端留下了超过 500MB 的相关数据，包括日志、缓存上下文、即时渲染、备份和安全记录。这是用户所见输出文件大小的 130 倍。将其扩展到一家生成长时长、更高分辨率视频的企业，每个片段的后端足迹就会增长到数百吉字节。

而且这一后端足迹还在快速增长。麦肯锡预计 AI 推理需求到 2030 年将以 35% 的复合年增长率增长，而训练为 22%，到本十年末将占数据中心总需求的 40% 以上。

一份由 WD 赞助的 IDC 近期全球白皮书调查了 763 位 IT 和业务决策者，发现近 95% 的受访者报告过去 12 个月中生成式 AI 导致数据量增加，其中约 61% 报告增长达 25% 或更多。

“你可以把拥有更多存储看作是让 GPU 保持忙碌的一种优化，”报告中引用的一家超大规模云服务提供商的高级产品经理说。“最大的挑战是确保 GPU 不会闲置、等待数据出现——GPU 闲置数小时会变得非常昂贵，而且代价增长极快。”换算成美元：如果你的存储支出以每年 25% 的速度增长，而计算预算以更可预测的周期性方式增长，存储最终会超过最受关注的那条预算线。

让存储与 AI 数据生命周期相匹配

计算需求随训练周期、产品发布和硬件更新而起落。但当计算需求放缓时，保留数据的量并不会随之回落。模型日志、合成输出、推理结果等不断累积，而且组织保留这些数据的时间也越来越长。

这改变了保留数据的角色。过去被归档且很少再被调出的信息，如今可以成为未来 AI 工作负载的输入。随着更多数据被保留、检索和重用，存储不仅要支持不断增长的容量，还要支持对其日益动态的访问。同一项 WD-IDC 调查发现，96% 的受访者预计需要更快的归档检索来支持推理或检索增强生成（RAG）。

AI 工作负载同时需要性能和容量，不同的技术在数据生命周期的不同阶段满足不同需求。而对于那些必须长期保存并反复访问的海量数据，HDD 提供了经济高效、大容量的基础，具有显著的每太字节成本优势

这对 AI 预算编制意味着什么

对于 CFO 或 CIO 来说，这意味着“AI 基础设施支出”的范围可能仅狭隘地聚焦在计算上。一个因数据加载而闲置的模型，与一个因缺少 GPU 而闲置的模型，成本几乎一样高。但存储瓶颈在被发现之前一直处于隐藏状态，它体现在运营成本和检索延迟上，而不是加速器旁边的一行资本支出。

设想一家零售商为商品目录生成 AI 产品视频，或者一家保险公司通过 RAG 流水线处理理赔文件以加快承保速度。在这两种情况下，计算成本都是已知的、有预算的量：财务部门可以预测的按次生成或按次查询的费率。而存储成本则不同：它随着每生成一个视频、每处理一份理赔而不断累积，因为这些后端数据在任务完成后都不会消失。

一个把 AI 预算当作“计算加上存储的零头”的团队，可能会在 12 到 18 个月后发现，这个零头已经变成了项目总成本的很大一部分——而此时正值领导层决定是否扩大规模之际。

构建经济上可扩展的容量

应对这一挑战要从架构入手。存储策略往往是为昂贵的热层性能（针对即时且持续访问的数据）而设计的，而就容量而言，大多数 AI 数据都累积在热层之后的温层、冷层和寒层中。

企业需要的是经济上可扩展的容量：为完整的 AI 数据生命周期设计的基础设施，在数据持续存在、不断累积并被越来越多地重复使用时，平衡性能与容量、功耗、可靠性和总体拥有成本。这意味着要把曾经闲置不动的归档数据当作 RAG 和推理的活跃资产，并根据数据日益增长的战略价值而非其原始存储成本来制定保留策略。这也意味着要认识到，关于存储的决策是在整个机群层面展开的，而不是针对单块硬盘。

这样的基础设施需要存储分层，其中个性化的功耗、可靠性、密度和运营效率都决定着系统在容量扩展时能否保持经济上的可持续性。

关于贵公司的 AI 基础设施预算，有三个问题需要问一问：

我们对 AI 生成内容的保留政策是什么，由谁制定（或将由谁制定）？
我们的存储采购是与训练时的性能需求挂钩，还是与我们实际产生的数据的生命周期挂钩？
如果明年我们的 AI 使用量翻倍，我们的存储成本会随之翻倍吗，还是会更糟？

大多数组织无法自信地回答这三个问题。这就是值得在下一个预算周期之前而非之后弥合的差距。

本文内容由 WD 制作，并非由 MIT Technology Review 编辑团队撰写。