Stanford 研究：50 项广被引用的 LLM 结论中 44% 已过期，平均寿命仅 15.7 个月

斯坦福研究人员 Owen Queen 和 James Zou 用 20 个模型检验了 50 项被广泛引用的关于大语言模型的结论，发现其中 44% 已经"过期"。在 22 项有预估过期时间的发现中，平均寿命仅为 15.7 个月。

两人使用八家不同开发商在 2024 年 7 月至 2026 年 9 月间发布的模型对这些结论进行了检验。已过期发现背后的原始效应已基本消失，另有 34% 明显减弱。只有 16% 仍然成立，还有 6% 反而变得更强。一年后，有 16% 已过期。两年后，这一比例攀升至 39%。

模型"做不到什么"的结论过期最快

根据这项研究，关于模型做不到什么的结论过期最快。九项与推理相关的发现中有五项被认为已过期，且没有一项仍然成立或变得更强。其中包括一些广为人知的弱点，比如数"strawberry"里的字母、在不熟悉的数字系统中做算术、在长上下文中丢失中间信息，以及在用户反驳时放弃正确答案。研究人员推测，这类错误存在"正确"的结果，为开发者提供了明确的训练目标。

关于偏好和倾向的结论寿命更长。在仍然成立或变得更强的 11 项发现中，有三项涉及大语言模型作为评估者的行为。它们偏好自己的答案、对录用和被拒论文的评分相近，并且会被医学摘要中的语言包装所左右。另有三项涉及对用户的谄媚与附和。此外，还有左倾的政治偏见、对开放式问题几乎雷同的回答，以及生成随机数时分布不均匀的问题。

幻觉引用率从 55% 降至零，但并非处处如此

作为案例研究，Queen 和 Zou 考察了科学引用的编造问题。在 Walters 和 Wilder 2023 年的原始研究中，GPT-3.5 编造了 55% 的参考文献。斯坦福研究人员向当前模型发送了相同的提示。GPT-6.1 Sol 编造率为 0%，Claude Sonnet 5.5 为 1%。但同样是 2026 年模型的 Qwen3.7-Flash，在同一测试中仍编造了 69% 的参考文献。

该研究警告不要把这些结果解读为万事大吉。在所谓的两跳问题上——即模型需要组合两个已知事实——Claude Sonnet 5.5 在分别回答两个问题时都正确的情况下，仍有约 10% 的案例失败。原始论文中 ChatGPT 的这一比例为 43%。"逆转诅咒"以及对成对时间相关问题的矛盾回答也有所减弱，但仍可检测到。

研究人员认为，社会偏见是一个复杂的情况。左倾政治偏见依然存在，而性别刻板印象和内隐联想偏见已经减弱。针对非裔美国人英语使用者的偏见在趋势数据中甚至发生了方向逆转。

即使在同一代模型之间，模型间的差距依然很大

不同模型之间的结果差异很大，即使是在同一发布窗口内也是如此。在 2026 年 7 月至 9 月间发布的模型中，失效发现的数量从 DeepSeek V4 Pro 的 11 项到 GPT-6.1 Sol 的 30 项不等。发布日期、提供商或模型规模都无法可靠地预测这种模式。

Queen 和 Zou 得出了一个宽泛的结论。关于 LLM 的实证发现应被呈现为对特定时间点上特定模型的观察，而非普遍真理。论文应记录模型、版本和日期，并发布提示词和分析代码，以便这些发现可以在未来的模型上重新验证。

研究人员提到了 Andrej Karpathy 的一篇帖子，该帖子描述了关于 LLM 实际行为的认知差距如何影响人们对 AI 的信任以及使用频率。作为 OpenAI 联合创始人、后来加入 Anthropic 的 Karpathy 最近还表示，当前可用的模型只是未来能力的预览。