跳到正文
The Decoder· Matthias Bastian·· 18 小时前AI 评分62

前研究员 Coxon 称 Anthropic 用一小部分算力即可重训 Mythos

Anthropic can already retrain Mythos with "a fraction of the compute originally needed," says former researcher Coxon

AI 导读

前 OpenAI 和 Anthropic 研究员 Jacob Coxon 表示,Anthropic IPO 路演中一张展示预训练算力乘数随时间变化的图表是他工作约四个月后离职的重要原因。

正文 · AI 翻译

曾在 OpenAI 和 Anthropic 任职、将 AI 恐惧带入主流视野的前研究员 Jacob Coxon 表示,Anthropic IPO 路演中的一张幻灯片是他离职的主要原因。

Coxon 表示,Anthropic 为其 IPO 路演发布的一张幻灯片是他在公司仅工作约四个月后就离职的关键原因。该图表显示了 Anthropic 随时间推移训练其模型所需的算力,坐标轴被压缩,以至于 10 倍和 100 倍的增长看起来几乎没有区别。

然而曲线仍然陡峭上升,Coxon 表示这表明算法效率的改进不仅快速,而且在不断加速。"这是一张疯狂的图表,我很惊讶他们将其公开了," 他写道。

Coxon 认为,Anthropic 在春季实现重大能力飞跃的 Mythos 模型正是这一加速趋势的一部分。"Mythos 并非一次性偏差,而是超指数曲线上的一点。他们已经可以用最初所需算力的一小部分重新训练 Mythos," 他写道。

Anthropic 这张 IPO 路演幻灯片展示了代码的"预训练算力乘数"随时间的变化。纵轴为对数刻度。前 Anthropic 研究员 Jacob Coxon 表示,2024 年 7 月至 2026 年 10 月的陡峭上升指向超指数级的算法进步。Anthropic 指出,这些数据点基于内部估计,仅供说明。 | 图片来源:Anthropic

他说算法改进"即将被自动化",因此他希望明年暂停前沿模型开发,以便竞争对手能够赶上。他写道,暂停将"使人类水平的智能商品化。这只会损害 OpenAI 和 Anthropic。"

Coxon 曾在 OpenAI 训练 AI 模型,最近则在 Anthropic 任职。他在 9 月凭借对先进 AI 系统风险的公开警告获得广泛关注,业内其他代表性人物也表达了同样的担忧。他们的恐惧之一是先进的、能自我改进的 AI 可能会失控。

AI News Without the Hype – Curated by Humans

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻通讯、每年六期独家"AI Radar"前沿报告、完整档案访问权限以及评论区访问权限。

来源: The Decoder · the-decoder.com