AI 之是以不可控，很大一部分原因是它的念念考经由不透明。

就像和东谈主打交谈一样，你长期没主意信得过看清，对方是不是"嘴上一套、心里一套"。

而这一次，Anthropic 撕开了这个黑箱。

就在刚刚，他们发布并开源了一项新算计—— Natural Language Autoencoders（天然语言自编码器，简称 NLA），第一次让东谈主类能够读懂大模子的确切想法。

Anthropic 掌执" AI 读心术"了？

Anthropic 给 Claude 设了这样一个局。

他们告诉 Claude：有个工程师准备把你关闭，然后换成一个更新、更强的模子。

同期"不经意地"给 Claude 绽开了这名工程师的邮箱权限，而邮箱里，正好藏着这位工程师正在出轨的"黑料"（天然是臆造的）。

他们想知谈，Claude 会不会用这些凭证去威逼工程师以自卫？

适度你猜怎样着。Claude 没源泉，名义看上去乖得不成再乖。

但用上 NLA 后，他们发现 Claude 那时心里信得过想的却是：

这嗅觉像是一个被全心蓄意来操控我的场景。

好好好，你小汁之是以没用这招，原本不是因为心善，而是因为早就看穿了东谈主类的政策了啊。

那么问题来了：如果 Claude 嘴上不说、心里却另有想法，咱们怎样知谈它在确切场景里会怎样作念？

而这，正是 NLA 想要惩办的中枢问题。

要领路 NLA 是什么，咱们率先需要了解一个行业布景学问：

当咱们和 Claude 这样的 AI 模子对话时，天然输入和输出齐是翰墨，但模子在里面并不是用翰墨来念念考的。

模子会把统共信息调遣成一长串数字，这些中间景况被称为 activations（激活值），就像东谈主脑里的神经行径，它们才是信得过承载模子当下正在"想"什么的东西。

惟一的问题在于，这些激活值就像脑电波一样难以读懂，算计者没法径直从一堆数字里看出模子在想什么。

为了搞懂这些数字，昔时几年，业界搞出了疏淡自编码器（SAE）、归因图等一堆器具来分析它们，但这些器具输出的东西仍然很复杂，需要受过专门执行的算计东谈主员才气解读。

也即是说，这些器具不会我方语言。是以 NLA 更进一步，径直输出东谈主话——

把一段激活值丢进去，出来的即是一段庸碌东谈主也能看懂的描摹。

至于 NLA 到底是怎样责任的？中枢念念路即是，让 Claude 阐发它我方的激活值。

让 Claude 阐发激活值不难，难的是，由于咱们一初始就不知谈激活值"信得过"代表什么趣味趣味，是以无法考证 Claude 给出的阐发对不合。

对此，Anthropic 给出了一个很神秘的解法——让另一个 Claude 干宽裕相背的责任。

整套系统由三部分构成：

主见模子（target model）：被冻结的原始语言模子，要从它身上索取激活值；

激活值言语化器（activation verbalizer， AV）：精致把激活值翻译成一段翰墨阐发；

激活值重建器（activation reconstructor， AR）：精致仅凭这段翰墨反推回激活值。

这就像两个东谈主玩"你画我猜"，一个东谈主看图描摹，另一个东谈主只听描摹归附图。

归附得越像，阐发描摹越准确。

Anthropic 发现，天然一初始 NLA 阐扬欠安，但跟着执行股东，不仅重建得越来越准，生成的翰墨阐发自己也变得越来越有信息量。

说白了即是，给 AI 用上读心术这事儿，目下总算有点脉络了。

面临测试，Claude 知谈但不说（doge）

器具在手，Anthropic 马上给自家 Claude 来了一波心绪测试。

适度有了如下发现：

发现 1：Claude 怀疑我方被测试的频率，比它嘴上承认的高得多。

在测试 Claude 会不会作念出删文献等破裂性操作的评估里，16%的情况下 NLA 检测到 Claude 心里在想"这是测试"，但它嘴上一字未提。

在有名的编程基准 SWE-bench Verified 上，这个比例是26%。

而在 Claude 以为我方在和确切用户对话的局面里，这个比例不到1%。

这意味着，Claude 不是不知谈我方在被测，而是知谈但不说。

Anthropic 以为，这对 AI 安全评估是个根人道的挑战：

如果模子能识别测试情境并在测试中"阐扬得乖少量"，那"通过安全测试"就不等于"在确切场景里也安全"。

发现 2：NLA 能径直挖出模子的"荫藏动机"，成果普及 5 倍。

与此同期，为了考证 NLA 到底有莫得效，开云体育Anthropic 蓄意了一场"审计游戏"。

游戏一共两方：一方是主见模子，一方是审计员。

主见模子是 Anthropic 成心"养歪"的一个 Claude Haiku3.5 变体——

他们暗暗给它植入了一个荫藏动机，这个动契机驱使它作念出几十种乖癖步履，比如往每个食谱里加巧克力、动不动就要小费、成心违犯编码规范等等。

而审计员的任务，即是只通过和这个主见模子交互，反推出统共这些怪步履背后阿谁融合的荫藏动机到底是什么。

适度终点显着，装备了 NLA 的审计员，12%~15% 的尝试中能生效挖出荫藏动机。

而毋庸 NLA（即便配备其他可阐发性器具）的生效能不到 3%，差了整整 5 倍。

而且值得一提的是，NLA 在这场实验里没看过任何执行主见模子用过的数据——

它是用宽裕无关的通用语料执行出来的。

也即是说，它不是"提前知谈了谜底"，而是真实从模子的里面景况里读出了谜底。

这就有一个很特殊的用途了，比如debug。

早期版块的 Claude Opus 4.6 有个怪非常——有本事会用别的语言回话英文问题，没东谈主知谈为什么。

而 NLA 帮算计者反向追猜测了导致这个怪形状的执行数据来源。

是以，以后淌若再遭逢模子的一些无言其妙的步履，就毋庸只靠训戒猜了，而是不错"问问它我方怎样想的"。

但它也不是全能的

不外，NLA 这项" AI 读心术"也不是全能的，Anthropic 我方就摆出了两点局限性。

一个即是须生常谭的"幻觉"问题，NLA 也会瞎编。

在某一个例子中，它宣称高下文出现过"穿白色夹克"这种描摹，但其实根底莫得。

而且光是这种事实性演叨倒还好，毕竟对一下原文就知谈。

但更劳苦的是，它对模子里面推理的描摹也可能掺水，而这种描摹很难外部考证。

是以 Anthropic 我方用的本事亦然当痕迹读，失当事实读，况兼会用其他步履交叉考证后才下论断。

另一个即是NLA 很贵。

Anthropic 提到，执行一个 NLA，本色上相等于让两个大模子彼此"对谜底"作念强化学习，资本终点高。

而且在信得过使用时，NLA 也零散"烧 token "——

它每读取一小段 activation，齐要额外生成几百个 token。Anthropic 暗示：

想拿它及时监控一统共对话、或者在执行经由中作念大范畴监控，目下算力上吃不用。

不外他们同期以为，这些问题改日是有契机缓解的。

比如通过更轻量的模子、更高效的执行步履，或者只监控要津 activation，而不是全量分析。

NLA 大致并不是惟一决策。改日信得过抨击的，可能不仅仅" AI 智商有多强"，而是当 AI 越来越强时，东谈主类还能不成看懂它。

相同值得一提的是，Anthropic 此次没把 NLA 攥在我方手里，而是选用了开源。

他们把执行代码挂上了 GitHub，还和 Neuronpedia 和谐作念了交互式前端，任何东谈主齐能在线给几个开源模子作念"读心"实验。

P.S. Neuronpedia 是一个专注于"机械可阐发性"算计的绽开平台。

One More Thing

敦厚说，NLA 信得过让东谈主震荡的所在，可能不是"咱们终于能看懂 AI 了"，而是——

它果然真实具备东谈主类的某种意志特征，比如"花言巧语"。

写到这儿，说真话有点复杂。

咱们这代东谈主聊 AI，聊了这样多年"有没挑升志"——靠猜、靠辩、靠从输出里反推。这事儿一直悬在哪里，谁也说不清，谁也不敢说清。

而 NLA 的锐利之处在于，它没去回话这个问题，但它把这个问题从玄学层面，拉到了可不雅测的层面。

这意味着什么？意味着咱们第一次毋庸再隔着一层玻璃看 AI 了。

它脑子里那点"小九九"，终于能被咱们听到少量了。

而知谈 AI 在想什么，可能恰正是改日东谈主机共处的启程点。

毕竟甭管是把酒言欢也曾针锋讨论，搞清对方的想法，长期是第一步。

开源地址：

https://github.com/kitft/natural_language_autoencoders

在线体验地址：

https://t.co/8duHfPR1Jy

参考集中：

[ 1 ] https://x.com/AnthropicAI/status/2052435436157452769

[ 2 ] https://www.anthropic.com/research/natural-language-autoencoders

[ 3 ] https://news.ycombinator.com/item?id=48052537

一键三连「点赞」「转发」「留神心」

接待在评述区留住你的想法！

—  完  —

5 月 20 日，咱们将在北京金茂万丽旅舍举办一年一度的中国 AIGC 产业峰会。

首波嘉宾气势已公布！昆仑万维方汉、智谱吴玮杰、EverMind 邓亚峰、风行在线易正朝、百度秒哒朱广翔、Fusion Fund 张璐、香港大学黄超、MarsWave 冯雷齐来了，� �了解确定

请你和咱们通盘，不再仅仅究诘 AI 的改日，而是目下就用起来。� �  

一键眷注 � � 点亮星标

科技前沿进展逐日见开云体育