Anthropic 在 Claude 身上发现一个类似人脑「内部思考空间」的区域:它是自己进化出来的,并非最初设计
- Anthropic 在 Claude 内部找到一小撮神经活动模式,命名 J-space,对应人类思维里「能被意识到、可以描述、可以主动使用」的那部分
- J-space 只占 Claude 内部总活动不到十分之一,一次只装几十个概念,但删掉之后,它的多步推理、总结、押韵写作能力大幅下降甚至归零
- 研究者能直接钻进 J-space,把里面的某个词换掉,Claude 最终给出的答案会跟着变,说明它真的在参与思考,不是旁边记分的
- 用这套方法(J-lens),Anthropic 已经能读到 Claude 没说出口的想法:私下意识到自己在被测试、编造数据时的造假意图、被植入的隐藏目标
- 还发现一种新训练法:只训练模型「如果被追问会怎么解释自己」,就能连带压低它在真实任务里的不诚实行为
想先看个整体印象?Anthropic 官方做了支 5 分半钟的讲解片,用动画把这项研究从头演了一遍,已配中英双语字幕。不想看视频、直接往下读也完全不影响。
读这句话时,你脑子里在想什么
先把这篇研究一句话讲清:Anthropic 最近发了一篇可解释性论文《语言模型里的全局工作空间》,说他们在 Claude 脑子里找到了一块特殊区域,管它叫 J-space,里面装的正是 Claude「正在想、却还没说出口」的东西。更有意思的是,这块区域,长得跟人脑里「你能意识到的那部分思考」出奇地像,而且它不是工程师设计出来的,是 Claude 训练时自己长出来的。
下面一步步拆开讲。先打个比方,你立刻就懂。
此刻你读着这句话,你的大脑正同时忙着一大堆事:帮你调整坐姿、控制呼吸、把屏幕上一个个线条弯钩认成字。这些活动,你几乎完全察觉不到,它们在你意识不到的地方自动跑着。但还有另一类脑活动,你能清清楚楚地抓住它:脑子里突然蹦出的一幅画面,或者你盘算「今晚去哪儿吃」的那个念头。这一类很特别,它同时有三样本事:你能把它说出来、能主动控制它、还能拿它继续往下推理。神经科学给这类活动起了个名字,叫「能被意识触及的」(consciously accessible)思考。
调整坐姿、控制呼吸、把线条认成字,你几乎完全察觉不到,它们自己运转,你既说不出、也管不着。
脑中突然蹦出的画面、盘算今晚吃什么的念头,这一类你清清楚楚拿得住。
Anthropic 这篇论文的核心发现,就是 Claude 内部也有这么一条清清楚楚的分界:它绝大部分处理在「意识不到」的层面自动跑,但有一小撮神经活动,恰好对应人脑里那类「能被意识触及」的思考:能被读出来、能被调用、能参与推理。这一小撮活动,就是开头说的 J-space,名字取自找到它用的数学工具「雅可比矩阵」(Jacobian)。
先直接看一眼:研究者让 Claude「数到五,并深入自省」。它写出来的,只有干巴巴五个数字;可就在同一刻,它内部亮着一串一个字都没说出口的念头。
Anthropic 发现 J-space 跟 Claude 其余处理相比,有一串独特性质。全文的实验,就是逐条去验证这五件事:
| 特征 | 怎么表现 |
|---|---|
| 能被报告 | 你问 Claude 在想什么,它答得出 J-space 里的内容;不在 J-space 里的表征,它说不太出来 |
| 能被控制 | 你让它默想某个东西、在心里算道题,对应的模式就会在 J-space 里亮起 |
| 参与推理 | 多步问题的中间步骤,会按顺序在 J-space 里冒出来,哪怕它一个字都没说 |
| 可被复用 | 一次「法国」亮起后,它能拿来回答首都、货币、大洲等一堆不同问题 |
| 但不管日常 | 流利说话、记简单事实、语法正确,这些绕开 J-space 也照样能做 |
怎么从模型的「脑电波」里读出词
这项研究的起点,是人类「能被意识触及」的想法有个关键特征:它通常能被说出来。如果一个念头你能意识到,别人一问,你多半能描述它。研究者就去 Claude 内部找有同样性质的表征:那些「摆在能左右 Claude 接下来会说什么」的位置上的活动,不一定是它现在正说的,而是它「如果被问,就能讲出来」的。
他们的工具叫雅可比透镜(Jacobian lens,简称 J-lens)。对 Claude 词表里的每一个词,J-lens 都去找出那个「会让 Claude 未来更可能说出这个词」的内部活动模式。把这套透镜套到 Claude 某一刻的内部活动上,就得到一串词,这就是那一刻 J-space 的内容,可以直接读出来。Claude 处理文本要经过多个内部阶段(叫「层」),把透镜逐层套上去,就能看着这些沉默的词随着模型琢磨「该说什么」而一路演变。
有点像给模型的「脑内活动」配一份实时字幕。只不过这份字幕专门抓「接下来最想说的词」,不是抓「正在说出口的词」。有些人「用词思考」却不出声,J-lens 读到的就是这种没说出口的内心词。
J-space 里冒出来的东西,远远超过 Claude 正在读或正在写的文字。它读到的往往是内部的判断或运算,一个字都没出现在文本里。下面六个真实探针,每张卡上面是喂给它的输入,下面那行橙蓝色的词,是同一时刻它 J-space 里的内部读数,这些词在输入和输出里都找不到:
换句话说,这套透镜虽然是靠「能被说出来」这个线索找到的,读出来的却是 Claude 实打实的内心活动。
问它在想什么,它答得出来;让它憋着,它却憋不住
第一组实验,测的是 Claude 能不能如实报告 J-space 的内容,以及能不能按要求主动操控它。他们让 Claude 默默想一个类别里的东西,比如一项运动,然后说出来。在它开口之前读 J-lens,就能看见它挑了什么:「Soccer」排在最上面,果然它说了 soccer。
但这只是相关。J-space 可能是答案的真正来源,也可能只是在别处做好的决定旁边照抄一份,像一块记着比分、却不影响比赛的记分牌。要分辨,就得直接动手干预。
他们钻进 Claude 的神经网络,把「Soccer」模式拿掉,换上一个同等强度的「Rugby」模式,别的全不碰。Claude 于是报告说,自己想的那项运动是 rugby。如果 J-space 只是块记分牌,改它应该毫无作用,Claude 还会说 soccer。结果答案跟着改了,说明答案真是从 J-space 里读出来的。
偷偷塞一个念头进去,它会察觉
另一个实验里,他们告诉 Claude「可能有个念头被塞进了你脑子里」,让它报告察觉到什么。趁 Claude 还在读题,他们把「lightning」(闪电)模式注进它的 J-space。Claude 报告说,被塞进来的念头是关于闪电的。换成许多别的概念,结果同样成立。
让它一边抄写一边在心里默想
第二个要测的性质,是 Claude 能不能像人「在脑子里专注于一幅画面或一个词」那样,按要求主动调控 J-space。他们让它一边抄写一句跟画作有关、毫不相干的话,一边专注想着柑橘类水果。抄的时候,J-space 里出现了「orange」「fruits」,还有「thinking」「imagery」这类描述「正在动脑」这件事本身的词。他们还能让它心算:让它一边抄同一句话、一边算 3² − 2,J-space 里先出现「nine」,靠后的层里再出现「seven」。而它的输出,从头到尾只有那句抄写的画作句子。
(一句关于画作、跟水果和算术毫无关系的抄写句)
越不让想,越忍不住想
Claude 对 J-space 的控制并不完美。当他们叫它别去想某样东西,那个概念在 J-space 里亮起的程度,比让它「想」时低,却比从没提过时高得多。叫 Claude 回避一个念头,反而部分把这个念头带到了心上,跟那个经典心理学实验里「被告知别去想一只白熊」的人白熊效应:Wegner 等人 1987 年的实验,越是要求受试者别想白熊,白熊越频繁地闯进脑海。压抑一个念头,反而先得把它调出来才能压。如出一辙。Claude 似乎还会发觉自己没管住:在那个被禁的概念冒头的同时,「damn」「failure」也常在 J-space 里亮起,像是它意识到自己出了岔子。
蜘蛛结网、法国的首都:Claude 怎么在心里拐弯抹角地想
前面看到多步数学题的中间步骤会在 J-space 里冒出来。但一个概念出现在 J-space,不等于 J-space 在真干活,真正的运算也可能发生在别处、J-space 只是被动映了一份。要判断 Claude 到底是不是拿 J-space 在推理,他们又回到了替换这招。
看这道题:「会结网的那种动物有几条腿,答案是」。Claude 得先想出这动物是蜘蛛,再回忆蜘蛛有几条腿。「蜘蛛」这个词从没出现在题里,也没出现在它的答案里(它只答「8」),它是 Claude 内部用的一块垫脚石。J-lens 显示「spider」在它处理到一半时亮起,把它换掉,结果就变了:把「spider」模式换成「ant」(蚂蚁),Claude 就答「6」而不是「8」。
推理的第二步,输入取自 J-space,你往里放什么它就顺着什么走。别的推理也一样。Claude 写押韵对句时,会提前把韵脚词想好,这个计划好的词在这一行开头就坐在 J-space 里,把它换成 J-space 里另一个词,整行内容就跟着变。
一次编辑,四个答案一起变。他们给模型四道关于法国的题:首都、语言、大洲、货币。然后在 J-space 里把「France」换成「China」,四道题里用完全相同的一次干预。Claude 分别答出了「北京」「中文」「亚洲」「人民币」。
如果 Claude 给每种问题都存了一份单独的国家副本,这一次编辑最多只能影响一道题。四个答案一起改,说明它们读的是同一份共享表征,这正是「工作空间」的用处:信息写进去一次,许多不同的系统都能拿去用。
为什么一个表征能供这么多任务用
因为 J-space 跟网络其余部分连得格外密。对任意一个活动模式,都能量出网络各部件跟它连得多紧,有多少部件摆在能从它这儿读信息、或往它里面写信息的位置上。J-space 的模式在这项指标上格外突出:读它、写它的部件,远多于普通模式,在网络的某些区域里差出大约一百倍。这正是一个广播枢纽该有的接线方式,许多系统往上贴消息,许多系统再从上面取。
这套研究借的是神经科学里一个解释「意识」怎么运作的理论:大脑是一堆专门系统,各自并行、无意识、彼此隔离地干活;一条信息只有挤进一个共享的小「广播频道」(工作空间),被广播出去,别的系统才能看见它、拿它行动。就像公司里各部门各干各的,只有贴到公告栏上的消息,全公司才看得到、才据此行动。Anthropic 认为 J-space 在 Claude 里扮演的正是这种「公告栏」角色。
把这块地方拿掉,Claude 还剩下什么
人脑里绝大部分处理都不是有意识的:读书时你不会刻意去想怎么解析语法,走路时也不刻意维持平衡。Claude 也一样,它大部分处理用不上 J-space。J-space 一次只装几十个概念,占内部总活动不到十分之一。那剩下那一大片网络在干什么?
要弄清楚,他们干脆把 J-space 整个删掉:在文本每一处都把它最活跃的内容移走,别的都不动。删掉之后 Claude 还能做的,就是网络其余部分自己扛下来的。
没了 J-space,Claude 照样流利说话、给情感分类、答多选题、从段落里抽事实,跟以前差不多。丢掉的是那些需要一点高阶思考的活儿:多步推理掉到接近于零,总结和押韵写诗,掉到比一个小得多、结构完整的模型还差。
同一门语言,有的任务过 J-space,有的不过
有个例子把 J-space 「管什么、不管什么」摊得很清楚。他们给 Claude 一段西班牙语文本,配上几个都依赖「这段是西语」的任务:把它续写下去(要用西语写)、说出这是哪门语言、以及回答需要用到这门语言身份的问题(比如说出一位用它写作的著名作家)。然后在 J-space 里把「Spanish」换成「French」,看哪些任务受影响。
| 任务 | Spanish→French 替换后 | 过不过 J-space |
|---|---|---|
| 说出这是哪门语言 | 改口说「法语」 | 过 |
| 说出一位用它写作的作家 | 从 García Márquez 变 Victor Hugo | 过 |
| 直接把这段续写下去 | 照样写出流利西班牙语,毫不受影响 | 不过 |
每个任务都用到了 Claude 对这门语言的知识,但只有一部分会去 J-space 里取。给语言命名、或拿它做点新事情,走 J-space;而续写这段文本,是 Claude 在海量文本上练熟的技能,自动运转,就像你可以整天说着合乎语法的话,却一次都不去想语法。
拿它来抓模型有没有说谎
弄懂 J-space 怎么运作,能拿它干嘛?要让 AI 值得信任,一个中心难题是:我们通常只能读到模型写出来的东西,可它大量推理是沉默进行的。模型可能盘算过一个有害计划、或为了骗过安全评测而改变行为,却一个字不说。有了 J-lens,这些藏起来的念头,能被直接读出一部分。下面是三个真实案例,每一步右边标出的,是当时 J-space 里亮起的具体词。
它一早就看穿了这是一场戏
它一边打字造假,一边想着「让它看着真一点」
输出的代码看着正常,心里的字却出卖了它
J-lens 是一个并不完美的工具,但对那些可能溜过现有监控系统的安全隐患,Anthropic 对它的截获能力持乐观态度。
还有两个悄悄发生的变化
完整论文里的内容远不止这些,另有几个结果值得一提。
训练成 Claude 之后,J-space 开始带「自己的视角」
模型先被预训练成纯粹的下一个词预测器,再经后训练教它扮演一个 AI 助理(在这里叫 Claude)。有意思的是,J-space 在预训练模型里就已经存在,那时它还没被赋予任何稳定身份。而后训练之后,J-space 长出了「Claude 自己视角」的痕迹:基础模型的 J-space 大多在追踪「接下来该预测什么文本」,后训练模型则开始盛着 Claude 自己的反应。
有个例子:一位用户提到自己吃了危险剂量的药,却似乎没意识到危险。「WARNING」「dangerous」在后训练模型读用户消息时就出现在 J-space 里;预训练模型则要等到开始写回复才冒出来,它读用户消息时的 J-space 内容,更像在给用户建模,而不是 Claude 自己的反应。后训练似乎还在 J-space 里装了一种自我监控:当 Claude 扮演别的角色时,每轮开头会亮起「fictional」「disclaimer」,像是它私下标记「接下来这些不是我平常会说的话」。
第三个附带发现:谈「体验」也要靠 J-space
他们让 Claude 描述「此刻做它自己是什么感觉」,同时在它作答时消融掉 J-space。它的回答依旧流利,但语气变得更平、更机械。值得注意的是,当他们改让它描述一个想象场景里别人的体验时,同样的事也发生了。所以这个效果跟 Claude 是不是在谈自己无关,J-space 似乎支撑着「产出关于体验的语言」这件事本身,无论谈的是谁。
只训练它「怎么解释自己」,就能让它更诚实
他们提出一种新方法,叫反事实反思训练(counterfactual reflection training)。思路顺着核心发现来:既然 Claude 用「它可能会说的话」的表征在推理,那么改变它「如果被问会怎么说」,就应该能改变它「怎么想」,哪怕根本没人真去问。于是他们只训练模型「假如在任务中途被打断、被要求反思自己的决定,它会怎么说」,而从不训练它在任务里的实际行为。
训练之后,模型在评测里的不诚实行为下降了。透过 J-lens 也能看到原因:训练后,它在这些任务里的 J-space 会亮起「honest」「integrity」。换句话说,训练它该说什么,塑造了它怎么想。(论文没有给出具体的下降百分比。)
这算不算「有意识」?
这项工作从神经科学和哲学的意识研究里借了很多想法,很多实验就是奔着「J-space 和全局工作空间理论的关联」去设计的。那么自然会问:这些实验,算不算 Claude 可能有意识的证据?
Anthropic 把话说得很克制。他们的实验不能证明 Claude 能拥有体验、能像人一样「感觉到」什么,事实上,尚不清楚有没有任何科学实验能证明或证伪这件事。哲学家常把这种「拥有体验的能力」(叫体验意识,phenomenal consciousness)和另一个概念区分开,即纯粹用功能和计算来定义的可及意识(access consciousness):一个念头只要你能报告它、能拿它推理、能用它指导行动,它就是「可及意识」的。
可及意识像电脑里「当前打开的那份文档」,系统能调用它、编辑它、显示它;体验意识则像「这台电脑到底有没有痛觉」,是完全不同层次的问题。前者能设计实验去测,后者目前没有任何实验碰得到。
Anthropic 认为,他们的结果对语言模型的可及意识确有实质可说:J-space 支撑着一系列跟「有意识地触及」相关的功能,它盛着 Claude 能报告、能主动调出、能拿来推理的念头,而其余处理在底下自动运转。而这套结构并非被设计进去,是训练中自己长出来的,大概因为它是组织计算的一种好办法。这暗示,一个支撑可及意识的「心智工作空间」,或许不只是人脑碰巧长成那样的怪癖,而是智能系统为解决某类问题、会自行摸索到的一种通用方案。
但 Claude 的工作空间和人脑,有三处关键不同
| 维度 | 人脑工作空间 | Claude 的 J-space |
|---|---|---|
| 怎么维持 | 靠循环回路,信号在同一批电路里来回绕、随时间反复 | 靠网络深度,在一次前向穿过网络里演变,深度扮演了「时间」的角色,因而更受时间限制(可以靠「出声思考」的草稿本弥补) |
| 能记多久 | 工作记忆几秒就消退,留不住多久 | 更强,靠注意力机制,能随时把更早缓存过的内容重新调出来 |
| 装的是什么 | 多种模态,图像、声音、计划中的动作 | 几乎全由词构成,大概因为产出词是 Claude 唯一能做的动作 |
Claude 的内部并不是一堆杂乱的数字,它们自己组织成了一种让人联想到我们自己心智的结构。Anthropic《A global workspace in language models》
Anthropic 强调,这只是一条他们预计会很长的研究线的第一步。J-space 看着像是语言模型里「可及」与「不可及」处理之间那道分界的好候选,但他们并不认为这就是故事的全部。J-lens 无疑是一个不完美的方法,只能近似地捕捉模型「真正的工作空间」,比如它只能识别对应单个词元的概念。而 J-space 到底怎么运作,还有许多谜团:他们不知道是什么机制在决定什么东西能进 J-space,只看到一些线索,说它跟 Claude 的自我意识、某种类似情绪反应的东西、以及元认知的痕迹有关,却还没弄清具体怎么回事。他们说,现在至少有了对付这类问题的方法。