vLLM 推出 push 模式 NIXL KV 传输优化 TTFT

AWS 机器学习博客发布文章，介绍为 vLLM 分离式推理新增的 push 式 NIXL KV 连接器。该设计将解码侧的注册与传输准备工作移出关键路径，以降低预填充到解码之间的首 token 延迟。在 Amazon EC2 P5en 实例搭配 EFA 的 1P1D（一预填充一解码）部署中，官方给出的测试数据显示：使用 Qwen3-32B 模型、在 8 QPS、16k 输入长度条件下，TTFT 从约 1744 ms 降至约 540 ms，提升约 3 倍；TPOT 也获得最高 30% 的改善。该功能由 AWS 团队贡献至 vLLM，面向采用分离式推理（prefill/disagg 分离）架构的用户，可通过 NIXL KV 连接器的 push 模式启用。目前该优化已在 vLLM 中落地，公开报道的验证数据均来自上述 AWS 测试环境，尚无其他独立环境的对比数据报道。

AI 根据报道生成 · 47 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。