为什么 CSP 开始用 QLC SSD 存储 KV Cache

TrendForce 观察到部分云服务商正在 SSD POD 中加入 QLC SSD，取代 TLC SSD 加 HDD 的默认配置。AI 推理中 Prefill 与 Decode 阶段不断读写 KV Cache，随着上下文窗口和 batch size 增长，KV Cache 容量需求成倍扩大，厂商因此将缓存从昂贵且容量有限的 HBM 下沉到成本更低的层级。