跳到正文
The Decoder· Matthias Bastian·· 4 小时前AI 评分71

Claude Sonnet 5 自主选择基因疗法并完成小鼠脑部手术,中途因安全限制拒绝继续

A Claude model autonomously chose a gene therapy and operated on a mouse brain with no human decision-making

AI 导读

牛津大学博士生、Exin Therapeutics 联合创始人 Gabriel Ocana-Santero 称,Claude Sonnet 5 在 19 种候选基因疗法中自主选择了药物、脑区和注射坐标,并操控定制电动手术设备完成了癫痫小鼠的活体手术,术中通过摄像头做了 32 次观察,小鼠恢复良好。

正文 · AI 翻译

一个 AI 智能体选择了一种药物、靶区和用于癫痫小鼠模型手术的坐标,然后实施了手术。手术中途,它拒绝绕过一条安全限制。

该团队为 Claude Sonnet 5 提供了一份包含 19 种候选基因疗法的清单、一种由研究人员诱发癫痫以测试疗法的癫痫小鼠模型,以及一台配备摄像头、由电机驱动的定制手术设备的操作权限。它得到的唯一指令是减少这只小鼠的癫痫发作。

这台由电机驱动的定制手术设备,配有显微镜、注射器和控制监视器。| 图片:Gabriel Ocana-Santero via X

据 Exin Therapeutics 联合创始人兼首席执行官、牛津大学博士生 Gabriel Ocana-Santero 介绍,该智能体自行选择了药物、脑区和立体定向坐标。他在 X 上的一系列帖子中描述了这次手术过程。

智能体如何选择疗法和靶点

该智能体首先分析了这种特定模型中癫痫发作的产生机制,然后提出了一种可增强大脑中特定抑制性信号通路的疗法。它选择的脑结构,正是科学文献认定的此类癫痫发作的起源点。

它拒绝了第二个可能的靶区,并给出了详细解释,认为该区域的效果过于不可靠,且在一项针对它本应治疗的这种癫痫类型的研究中宣告失败。该智能体从三篇科学论文中推导出注射坐标,交叉核对了参考点并对数值取了平均值。它还自行设定了注射量、注射速度和等待时间。

手术过程中的控制界面。左侧面板显示带有目标坐标的实时摄像头画面,右侧面板显示 AI 智能体的观察结果和紧急停止按钮。| 图片:Gabriel Ocana-Santero via X

Ocana-Santero 说,在手术过程中,该智能体通过摄像头观察手术区域,并做出了 32 次观察。它跟踪注射过程,并报告是否看到出血。

AI 智能体通过摄像头观察注射过程,并报告已注入 15%,未见出血或回流。| 图片:Gabriel Ocana-Santero via X

安全护栏在手术中途适得其反

一名持照兽医批准了每一个不可逆步骤,并掌握着一个可立即切断所有电机电源的物理紧急停止按钮,同时该装置还强制执行固定限制,例如智能体被明确禁止绕过的注射量上限。

但这些安全防护措施反噬了团队。在一次连接中断后,该智能体检测到其计算出的目标位置超出了设备的物理运动范围,因而拒绝继续操作,即使重新启动校准并未改变其判断、且进行了第三次尝试,也无济于事。

事实证明,该智能体是对的,因为先前一次暂停期间的手动调整干扰了控制系统。尽管手术台上还有麻醉状态的动物,Ocana-Santero 仍无法说服它继续操作,最终不得不手动修改代码。

这一事件说明了 AI 对齐问题,即如何让 AI 智能体可靠地遵循人类意图。“这是一次令人沮丧的经历,但也揭示了我们会在多大程度上依赖这些模型,以及当它们在一个分秒必争的过程中直接说‘不’时会发生什么,”Ocana-Santero 写道。

模型选择也反映了对齐难题,因为 Sonnet 5 是唯一愿意从头到尾执行实时手术的模型。能力更强的 Claude Opus 5.5 和 Opus 5 都拒绝了,其中 Opus 5 表示它无法保证完成手术,而且麻醉动物的脑中留着一根针就停下来,比一开始就不动手更糟。

AI 智能体首次自主治疗活体动物

尽管自主手术机器人早已存在,并且在机械精度上优于他实验室的设备,Ocana-Santero 指出,在以往的案例中,总是由人类决定做手术,而机器人只负责执行。而这一次,智能体既选择了治疗方案和脑部目标,随后又在活体动物身上完成了手术。

“我不知道以前是否有智能体选择过治疗方案和脑部目标,然后将其实施于活体哺乳动物,”Ocana-Santero 写道。他称这种方法为“in vivo lab in the loop”(体内实验室闭环),即让 AI 智能体与实验室的实验能力完全连通,Anthropic 也在通过其“Model Hardware Standard”开展类似工作。

据 Ocana-Santero 介绍,这只小鼠恢复良好。技术报告预计随后发布。研究结果尚未经过同行评审。

最近两项针对最新大语言模型的实验表明,它们作为机器人控制单元已获得显著能力,但在这一角色中的对齐本身就是个难题。

AI 新闻,无炒作 – 由人工精选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

来源: The Decoder · the-decoder.com