Simon Willison 呼吁按用量服务默认设置硬性预算上限
Simon Willison 撰文主张按用量计费服务和 API 应默认提供硬性预算上限,超过限额即停用并报错,而非仅发警告邮件,因为编程 Agent 降低了启动可能产生账单的代码的门槛。
Simon Willison 撰文主张按用量计费服务和 API 应默认提供硬性预算上限,超过限额即停用并报错,而非仅发警告邮件,因为编程 Agent 降低了启动可能产生账单的代码的门槛。
MIT Technology Review Insights 发布报告,提出企业正经历从 AI 工具到 AI 运营模式的"agentic shift"。2026 年全球 AI 投资将达 2.5 万亿美元,同比增长 44%,但多数企业尚未通过 AI 实现收入增长。报告指出企业需重建面向可访问性的数据基础设施、采用可组合架构,并解决 AI 主权问题。
AI 工作负载转向推理与智能体 AI 后,系统瓶颈正从算力转向数据移动。文章指出处理器中心架构下,从 DRAM 取一次数据的能耗可达一次简单算术运算的 150 至 2,000 倍,大型机器学习模型超过 90% 的系统能耗可能消耗在内存访问与数据移动上。文章引出 SK hynix 打造下一代 AI 内存生态的愿景,主张 GPU/NPU/TPU、内存、存储与网络作为整体系统协同设计。
NVIDIA AI 工厂的回报取决于三个相互关联的因素:收益能力、使用寿命和需求。据 SemiAnalysis AgentX 数据,NVIDIA Vera Rubin NVL72 比 GB300 NVL72 每兆瓦吞吐量高逾 30x,在 DeepSeek V4 Pro 模型上每百万 token 成本低至 45x。
当 AI 从试点走向生产化,仅按 token 消耗付费可能使开支难以预测。企业应根据工作负载逐项评估自有容量与消费式采购的经济平衡点,在持续需求达到足够利用率时投资可控容量,并通过运营管理让容量保持高产,从而把 AI 从开支变为资产。
NVIDIA 发文提出 AI 安全应作为工程问题对待,需要明确的安全需求、可强制执行的控制、指定负责人和防护有效的证据。
企业 AI 的下一个真正约束是 GPU 利用率而非模型智能——GPU 按日历小时产生融资、折旧、电力和散热成本,但产出只按计算小时计,与民航客机停飞成本结构相同。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,随着推理价格每年下降 9x 到 900x(中位数约 50x),GPT-4 级能力成本已从 2023 年初的约 $30 per million tokens 降至 $1 以下。