跳到正文
原文
Simon Willison·· 2 天前AI 评分33

Qwen3.8 27B 用单词做加法基准测试

Qwen3.8 27B addition in words

AI 导读

一项基准测试了本地 `Qwen3.8-27B-Q4_K_M.gguf` 模型能否只用英文单词表达正整数加法的精确结果,共 5,070 个关闭推理的用例及 169 个开启推理的对照用例。关闭推理时数值准确率仅 23.57%,其中 1-3 位数运算达 97.04%,10-13 位数降至 6.44%,格式合规率 96.17%;开启推理后在 169 次尝试中答对 167 次。

来源:Simon Willison · simonwillison.net