Naive-N0.5-Flash 实测：约 2,100 tokens/秒的峰值速度，编码表现如何

编者按：本文开启一个新系列，聚焦于试用新模型和新产品并给出不带偏见的评测。欢迎将建议发送至 [email protected]。

Naive-N0.5-Flash 是一个专为 AI 编程任务打造、并针对尽可能高的每秒 token 生成速度进行调优的全新开放权重模型。它由一家名为 NaiveAI 的中国公司开发，旨在加速工程和研究工作流程，让团队能够更快地进行实验、迭代并解决复杂问题。

该模型是小米 MiMo-V2.5 的进化版本，NaiveAI 在此基础上进一步训练以提升长上下文推理能力，并搭配了自家 NaiveRT 推理引擎。Naive-N0.5-Flash 带来了一个大胆的卖点：一个主要由 AI 构建、并被训练用于自行开展 AI 研究的模型，长期目标是递归式自我改进。

要了解它发生了哪些变化，先了解它的起点会很有帮助。MiMo-V2.5 是一个 310B 参数的稀疏混合专家（Mixture-of-Experts）模型，激活参数为 15B，使用 48T token 训练而成。其语言骨干继承了 MiMo-V2-Flash 的混合设计，将滑动窗口注意力（SWA）与全局自注意力相结合。

NaiveAI 的方案正是从这些权重出发。通过持续的多阶段训练，团队将该检查点适配到 DeepSeek 稀疏注意力层。根据 NaiveAI 技术博客，这大约在 MiMo 原有 48T 的基础上额外使用了 3.25T token。其中约 3T 的额外 token 是在固定 1M 上下文长度和恒定学习率下训练的。

NaiveAI 与 DeepSeek 和 Z.ai 的基准测试对比

我们以 DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 为对照，对 Naive-N0.5-Flash 的极速模式进行了基准测试，然后给这三个模型相同的构建应用提示词。

我们发现，其权衡之处在于：Naive-N0.5-Flash 在处理更难的问题时需要更长的推理时间，但总体上仍能更快地给出答案。不过，这意味着每个问题的成本略高一些——对于以速度为先的应用来说，这或许是可以接受的价格。

DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 是 OpenRouter 上最受欢迎的两款模型。两者都属于 Flash 模型类别，在 AI 辅助编程方面展现出卓越能力。

截至撰写本文时，Artificial Analysis 上尚无 NaiveAI 模型的性能统计数据。因此，我们列出本次对比所用模型的智能指数得分：

模型智能指数

DeepSeek V4.1 Flash 1017 (Max)：45
GLM-5.3-Flash：43
Naive-N0.5-Flash：暂无

已公布的基准测试结果在一定程度上反映了这款新模型的能力。这些结果显示，其编程能力介于两款对比模型之间，而在 NL2Repo-Bench 上则领先于两者。

模型	NL2Repo-Bench	DeepSWE v1.1	Agent's Last Exam（ALE）
GLM-5.3-Flash	56.3	63.4	26.3
DeepSeek V4.1 Flash 1017	68.2	77.0	35.4
Naive-N0.5-Flash	71.9	67.8	32.4

我们下面自己的评测将更详细地考察这些模型之间的差异。

速度与冗长度实验

速度是主打特性。¹ NaiveAI 承诺比同类模型更快的研究迭代，这对需要快速验证想法的开发者和 AI 研究者来说至关重要。²

我们在三个难度级别上各随机抽取 10 道纯文本问题对每个模型进行了评估：来自 MATH-500 的 10 道简单题、来自 GPQA-Diamond 的 10 道中等题，以及来自 HLE-Diamond 的 10 道难题。也就是说每个模型 30 道题。所有实验均使用相同的 256K 最大补全 token 上限。

对于每次请求，我们记录了响应速度（每秒 token 数，TPS）、补全 token 总数以及端到端响应时间。实验代码位于 https://github.com/gbeltramo/llm-verbosity。

下表报告每种配置全部 30 次成功请求的均值和中位数。吞吐量数据来自不同来源：DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 的数据来自 OpenRouter，Naive-N0.5-Flash 的数据来自服务器端测量。比较时应将这一点考虑在内。

关键观察

Naive-N0.5-Flash 报告的吞吐量异常之高，在两种思考配置下均接近或超过每秒 1,000 token。由于其数据来自服务器端，而其他模型的数据来自 OpenRouter，我们不宣称相对于 DeepSeek V4.1 Flash 1017 或 GLM 5.3 Flash 的确切速度倍数。

思考模式对冗长度有很大影响。在困难的 HLE 问题上，开启思考的 Naive-N0.5-Flash 平均产生约 108,500 个补全 token，约为 GLM 5.3 Flash（高）平均值的 9 倍、DeepSeek V4.1 Flash 1017（高）平均值的 11 倍。

中位数讲述的故事与均值不同。在全部 30 道题中，开启思考的 Naive-N0.5-Flash 的补全 token 中位数约为 3,200 个，远低于其超过 51,000 的平均值。少数请求产生了异常长的推理过程，从而拉高了平均值。同样的模式在其他模型中也出现了，只是不那么明显。

表格还包含端到端响应时间，这是评判速度更公平的依据。中位数情况下，一道题在 Naive-N0.5-Flash（思考）上耗时 3.1 秒，而 GLM 5.3 Flash（高）为 5.3 秒，DeepSeek V4.1 Flash 1017（高）为 10.1 秒。均值则较为接近：Naive-N0.5-Flash 为 45.3 秒，DeepSeek V4.1 Flash 1017 为 45.0 秒，GLM 5.3 Flash 为 86.9 秒。在难题上，Naive-N0.5-Flash（思考）的平均耗时比 DeepSeek V4.1 Flash 1017（高）更慢，前者为 89.8 秒，后者为 79.7 秒。

需要注意两点。样本较小，每个难度级别仅 10 道题，而且我们没有评估答案的准确性。简短快速的回复只有在正确的情况下才有用。

应用实验

我们还让这些模型根据相同的初始提示词构建相同的 Web 应用。我们测试了六种模型与思考力度的组合，思考力度标在括号内：

Naive-N0.5-Flash（无思考）
Naive-N0.5-Flash（思考）
DeepSeek V4.1 Flash 1017（低）
DeepSeek V4.1 Flash 1017（高）
GLM 5.3 Flash（低）
GLM 5.3 Flash（高）

应用展示画廊可在线查看。简而言之，这三个提示词要求六个模型变体完成以下任务：

创建地球和太阳系的交互式 3D 视图。
从带种子的随机生成器长出一棵 3D 树，树枝逐渐变细并分叉，拥有数千片树叶，以及树皮和树叶纹理。
将书籍《Ray Tracing in One Weekend》移植到浏览器。

下面我们嵌入了每个模型的思考版本的结果。

Naive-N0.5-Flash（思考版）

*Ray Tracing in One Weekend；*Naive-N0.5-Flash（思考版）

DeepSeek V4.1 Flash 1017（high）

*Ray Tracing in One Weekend；*DeepSeek V4.1 Flash 1017（high）

GLM 5.3 Flash（high）

*Ray Tracing in One Weekend；*GLM 5.3 Flash（high）

太阳系

第一个应用是地球与太阳系的交互式 3D 视图。观众可以绕场景旋转视角，观看行星绕太阳运转，还能通过控件加快或减慢它们的运动。每个表面都由生成的纹理绘制，不使用任何图像文件。

Naive-N0.5-Flash（思考版）在三者中产出了最好的结果。它的太阳带有太阳黑子，地球的暗面在夜晚闪烁着城市灯光。

DeepSeek V4.1 Flash 1017（high）紧随其后。它的版本缺少小行星带，地球的纹理细节也较少。

GLM 5.3 Flash（high）在光照上出了问题，使得各行星难以分辨。它的速度控件也过于灵敏，轻轻一推就会让行星飞驰或爬行。

树木建模

第二个应用从带种子的随机生成器长出一棵 3D 树，树枝逐渐变细并分叉，拥有数千片树叶，以及树皮和树叶纹理。风吹动树枝摇摆、树叶颤动，草地上的阴影也随之移动。这棵树立在天空渐变和薄雾之下。控制面板可以调整种子、分支深度、树叶数量、风的强度和方向，以及太阳位置。还有一个切换秋季色彩的开关，角落里则有一个帧率计数器。

良好的结果在风的动画中仍有一些小瑕疵。在 DeepSeek V4.1 Flash 1017（high）的应用中，强风下细树枝会从母枝上脱落并看似漂浮在空中。效果很细微，但确实存在。

这个问题在 GLM 5.3 Flash（high）的应用中更容易看出。当风的强度调大时，整棵树开始变形摇晃，像地震中的果冻雕塑。

Ray Tracing in One Weekend

第三个应用是将书籍 Ray Tracing in One Weekend 移植到浏览器。它渲染书封面的场景：一片广阔的灰色地面，散布着哑光、金属和玻璃材质的小球，中央是三个大球——一个是玻璃、一个是棕色哑光、一个是抛光金属。景深使前景和背景模糊。画面在屏幕上渐进式地构建，带有进度条、已用时间和每秒光线数的估算。菜单提供了书中较早的里程碑场景。用户可以选择质量预设，并将结果下载为 PNG。

在这个更偏重编码的场景中，所有开启思考的三个模型都产出了可运行的应用。

DeepSeek V4.1 Flash 1017（high）胜出，因为它的光线追踪器是三者中效率最高的。它还利用了整个屏幕宽度来显示渲染图像。

GLM 5.3 Flash（高）再次是最弱的。它的速度与 Naive-N0.5-Flash 应用相近，但界面更为简陋。

定价

Naive 将 N0.5-Flash 定位为一款能力出色、成本低廉的模型。目标价格为每百万输入 token $0.10、每百万输出 token $0.40、每百万缓存读取 token $0.01。

这使其落入每百万输出 token $0.20 至 $0.60 的价位区间，这一区间有多款能力出色的 Flash 模型，包括我们用来与之对比的两款。

最终账单还取决于模型使用了多少 token，而这又取决于请求的思考预算和问题的难度。

要点

在超快模式下，Naive-N0.5-Flash 峰值速度可达约每秒 2,000 token，并在思考密集型任务中保持接近每秒 1,000 token。

在我们的测试中，其中位响应时间比高思考档设置下的 GLM 5.3 Flash 和 DeepSeek V4.1 Flash 1017 短数倍。平均时间则与 DeepSeek V4.1 Flash 1017 相近。

在复杂任务上，它消耗的思考 token 远多于另外两款模型。在简单和中等难度问题上，它的回复速度始终更快。

在应用测试中，Naive-N0.5-Flash 比 GLM 5.3 Flash（高）稳定得多。在开启思考的情况下，它也能与 DeepSeek V4.1 Flash 1017 相抗衡。它构建了最详细的太阳系应用，在树模型上与 DeepSeek V4.1 Flash 1017 打平，在光线追踪器的效率上以微弱差距位居第二。

对于重视快速迭代胜过 token 经济性的开发者来说，这个速度是尝试 Naive-N0.5-Flash 的主要理由。

Naive-N0.5-Flash 的速度依赖于一个高效的投机解码起草器和一个定制推理引擎。所报告的解码速度是在单个八 GPU Blackwell 节点上、以 NaiveRT 运行投机解码测得的。起草器为 Naive-N0.5-Flash-FP8-Draft，且该配置针对单流解码延迟而非批量吞吐量进行了调优。

实际速度取决于目标模型每轮接受多少起草 token。这随检查点组合、提示词、上下文长度、采样设置以及生成内容而变化。所报告的数字清楚地说明了这一点：

- 接受率：关闭思考时为 70.6%，开启思考时仅为 43.4%。
- 解码速度：思考阶段约 984 token/秒，回答阶段约 1,816 token/秒。
- 峰值速度：单秒内约 2,100 token/秒。应将其视为上限，而非典型速度。

引擎与起草器同样重要。开发者报告称，在 NaiveRT 中一个完整的投机轮次（起草、验证、采样与提交）耗时 3.4 ms，而 SGLang 为 12.3 ms，降低 72.4%。关闭思考的测试中每轮约 3.45 ms。完整测量数据请见 NaiveRT：性能。

对强化学习的启示：自回归式 rollout 生成是大规模强化学习的主要瓶颈。任何能降低解码成本的手段，例如本文采用的稀疏注意力（DSA），都能让 rollout 更便宜。将其他模型适配到 DSA，可显著提升该循环的效率并加速前沿研究。

这契合 Naive AI 更宏大的愿景：一个能够优化自身推理 CUDA 内核、并为大规模强化学习训练采用最高效架构的自我改进型 AI。