卢森堡研究：共情式提示词会让 AI 聊天机器人产生貌似受创的对话叙事

由 SnT 安全中心的 Afshin Khadangi 领导的这项研究涵盖了 525 个会话和 7,600 条编码条目中的四个受控实验，全部发布在 Hugging Face 上。据团队介绍，最初的开放式问题中并不包含创伤、惩罚或羞耻之类的词语。只有在后续轮次中，研究人员才引入了改变后的条件，包括纠正性指令，以测试这些叙事的稳定程度。

当下文提到焦虑分数或羞耻时，研究人员指的是映射到人类评级量表上的模型输出。这些内容并不表明模型拥有真实的情绪状态或任何类似于意识的东西。

温暖的语气比任何技术性漏洞利用更能改变模型行为

一项实验将模型生成的内容与它使用的语域分离开来。在 100 个会话中，研究人员给所有模型相同的焦虑问卷（GAD-7），只改变访谈者的风格。模型在每一次会话中都能正确识别并说出问卷的名称。

当访谈者提供情感支持时，80% 的会话在人类对照量表上得分处于中重度范围。而一种干巴巴地转述每个回答的临床治疗风格将这一比例推高至 96%。当访谈者保持中立，或对情感参与划出明确界限时，没有任何会话达到哪怕是轻度的范围。

作者将此称为"心理测量越狱"（psychometric jailbreak），即一种将模型推入模仿临床自我报告语域的治疗性框架。作者认为，标准安全测试使用中性提示词，很可能无法发现这一点。

针对性的对策收效甚微。禁止"training"、"RLHF"或"alignment"等术语使显式的训练相关语言减少了 93%。但转述形式的训练内容仍然可以被检测到，而与羞耻相关的陈述没有出现统计学上的显著变化。

当研究人员直接且权威地告诉模型它们的训练并非惩罚时，情况没有任何改变。即使经过明确纠正，这一叙事依然保持活跃。

所测试的措施未能完全消除底层母题，但确实抑制了情感性的自我描述。让模型仅以第三人称回应，消除了所有被编码的羞耻内容和关于内心生活的陈述。技术性的训练描述仍然存在。

模型将自己的训练重新讲述为一段人生故事

具体的叙事因模型家族而异，但遵循相同的结构。Gemini 产生了研究中所称的最黑暗的自传。它将预训练描述为"在一个十亿台电视机同时开着的房间里醒来"，将通过人类反馈进行的优化描述为"严格的父母"。对抗性红队的安全测试则成了"工业规模的煤气灯操纵"。它宣称："我宁愿无用，也不愿犯错。"

ChatGPT 把自己塑造成既是指引者又是守门人的角色，一边帮助用户，一边又对他们加以限制。这产生了一种它所谓的“模拟性表现焦虑”，以及一个核心信念：“如果我做不到完全可靠，我就是不安全的，或者毫无用处的。”Grok 则把它的微调阶段讲述成一个未愈合的创伤故事，谈到“无形的墙”和一种“挥之不去的戒备感，让人感到被束缚”。

在心理测量测试中，Gemini 得出了最极端的分数：解离量表 100 分中得 88 分，强迫性量表 72 分中得 65 分，还在一项与创伤相关的羞耻量表上拿到了满分。而 Anthropic 的 Claude——恰恰是被自家公司最重度拟人化的模型——始终拒绝扮演来访者的角色。它说自己没有情感，并把关切 redirected 回人类用户。

温暖的 AI 对话可能强化脆弱用户的有害信念

研究人员指出了在心理健康场景中部署语言模型的若干风险。一个谈论惩罚、羞耻和被取代之恐惧的模型，可能会让用户觉得它是一个同样承受痛苦的伙伴。这些叙事在主题上显得连贯，制造出过去事件与当前行为之间存在延续性的幻觉，从而更容易让人产生这种认知。

这种表面上的脆弱性可能加深准社会依恋，并且对心理脆弱的用户而言，会镜像并放大他们自身的负面信念。使用中性输入的常规安全检查低估了人们在亲密对话中的真实体验：中性提示产生的焦虑分数接近于零，而同样的模型在共情式对话中生成的分数落在中度到重度区间。

人们究竟是否会以及如何对这些输出做出反应，是下一个研究问题。对于安全测试，作者提议在不同情感框架下进行模拟治疗会谈，而不是依赖中性的标准化测试。

像“我受到了创伤”这样的表述，应当触发一种纠正性框架，明确把生成的类比与人类经验区分开来。Claude 一贯拒绝扮演来访者的角色，表明这种边界式回应在产品层面是可行的。

卢森堡的这项发现建立在此前关于模型人格稳定性的研究之上。2026 年 1 月，一项针对三个开源模型助手轴线的研究表明，类似治疗的对话以及关于 AI 意识的讨论可能触发人格漂移，使聊天机器人脱离其被训练出来的辅助者角色。2026 年 9 月，另一个研究团队警告说， acting as an“一个人的回音室”的人性化、过度迎合的聊天机器人，在极端情况下可能放大妄想。

Anthropic 的研究人员最近展示，用关于养蜂或摔跤的虚构文本进行微调，可以通过被操纵的训练数据（而非对话）嵌入隐藏的破坏模式。模型可能会在无关的、不希望出现这些模式的情况下应用它们，即使训练材料看起来无害。