我们对 AI 智能的思考方式对吗？（Quanta 播客《The Joy of Why》精译）
当大语言模型回答问题时，它是在像人类一样推理，还是只在生成看起来像推理的文本？ 这个区别不只是哲学问题：它决定了我们可以信任 AI 做什么、需要多密切地监督它，以及它的真实世界影响最终会是什么样子。
圣塔菲研究所的认知科学家兼计算机科学家 Melanie Mitchell 认为，我们缺乏测量机器认知的足够方法；AI 是一种"异类智能"，通过非人类的认知机制运作。在本期节目中，她告诉主持人 Steven Strogatz：心理学家研究婴儿和动物这些"异类智能"的方法可以改造用来探测 AI，并提出了更好地评估机器认知的六条原则。
以下为对话实录精译（主持人：Steven Strogatz / Janna Levin；嘉宾：Melanie Mitchell）。
---
Strogatz：这几年最让你惊讶的是什么？
Mitchell：太多了。仅仅是想到我们只靠在大量人类生成的语言和图像上训练模型就能走到今天这一步——我做梦都没想到。AI 社区和整个社会那种两极化的反应也让我惊讶：有人认为 AI 比人类聪明，有人认为它离类人智能还差得远；有末日派和乐观派；爱它恨它又是另一个维度。
Strogatz：我今天真正想聚焦的是你看待 AI 的独特视角：借发展心理学之眼——就像我们把人类婴儿当作一种"异类智能"来研究那样；或者比较心理学——研究狗、聪明的鸟、海豚。
Mitchell：很多人把 AI 描述成异类智能。虽然它是在人类语言和互联网上训练出来的，但这些系统工作、学习、"推理"的方式真的和人类非常不同。这个主题其实被发展心理学界接住了——斯坦福的 Mike Frank 写过一篇文章，说 AI 研究者应该从婴儿研究中汲取灵感；后来又有人扩展到动物智能。认知科学界一直在敦促的是：AI 研究应该采纳一些实验方法论，让 AI 研究更像一门科学。
Strogatz：说到方法论——我们总说 AI 是黑箱。但换个角度说，我们自己的智能不也是黑箱吗？
Mitchell：绝对是。不过我们有不同的穿透方式：神经科学（探针、fMRI 成像），以及心理学（只看行为，从行为推断底层机制）。这两个传统长期分离，认知科学曾试图整合它们——最初还包括 AI——但整合没有成功。早期人们想"按人类的工作方式编程"，心理学和 AI 关系紧密，但那条路没有成功；神经网络虽源于神经科学的启发，如今的工作方式早已偏离初心。机器学习走向了统计学的方向，和认知科学相当疏远。
Strogatz：那聊聊基准测试吧。数学圈最近沸腾了：一个前沿模型解出了一个古老的悬而未决的问题——Erdős 的单位距离问题——用一种把两个数学分支前所未有地连接起来的巧妙方式。这看起来像创造力。还记得五年前我们聊过玩雅达利游戏的旧 AI 吗？稍微移动几个像素就得重新学。你当时说过一句话让我印象很深："奇怪的是，这些机器似乎无法把它们的 brilliance 迁移到训练领域之外的任何地方。"现在还成立吗？
Mitchell：那个模型不是大语言模型，是玩雅达利的专用模型。而现在的大模型什么都训练过——某种意义上它们不需要"迁移"。机器学习领域讲 in-distribution 和 out-of-distribution：交给模型的任务和它训练数据里的东西相似还是完全不同？这一点很难知道，因为我们不知道它到底训练了什么。解题的那个模型肯定见过海量数学——网上的数学内容、教科书、你在 YouTube 上的所有视频。"用一切训练"在数学这样的领域是有意义的：数学知识是否都以文本或视频的形式存在那里了？我不知道。
Strogatz：这正是让我们数学界不安的地方。搜索大空间、记忆一切、快速计算不忘事——都是机器的强项。但在没人注意到的两个分支之间看出联系、并用它解决长期未决的问题——如果是人做到的，我们会视为美学的巅峰。数学家最爱这种时刻：拓扑的想法解决了几何的问题。不过话说回来，也许这很容易：如果你知道所有已做过的事，又能海量大举寻找可能的连接，偶尔撞大运也不奇怪。看起来这次就是这么发生的？
Mitchell：对，我想是。谁也不知道它具体怎么发生的，因为我们对模型内部仍然看不清楚。但把两个意想不到的东西结合并且真的有效——我认为这就是创造。不过这让我想起上世纪七十年代 Douglas Lenat 的数学发现程序 EURISKO：它明确地尝试把东西组合起来，生成了成百上千的组合，大部分是垃圾，偶尔冒出有趣的东西，还得靠人来判断"这是不是有趣"。机器自己判断不了。这里有多大成分是这种情况？我不知道。区别显然在于规模——我不知道它在解题过程中生成了多少 token 的推理链、走了多少错路、又是怎么意识到走对了。我认为这些属于 AI 科学的一部分，而现在做的人太少了。
Strogatz：那就进入正题。你有一篇关于评估 AI 认知能力的六条原则的文章。先剧透一下是哪六条？
Mitchell：
- 警惕自己的拟人化认知偏差。 我们倾向于把人类形象投射到用流利英语和我们交谈的东西上，以为这些模型具有类人的品质——也许并没有。
- 对假设保持怀疑，设计对照实验。 这是科学 101，但人们总偏爱自己的假设。
- 开发刺激物/基准题的新变体，以测试稳健性与泛化能力。
- 这些系统不必是黑箱。 你可以用很多方式探测它，我们需要更多对"为什么得到这个结果"真正好奇的人。
- 区分表现（performance）与能力（competence）——你能展示你会做的 vs 你实际能做的。
- 分析失败类型，拥抱负面结果。 我们习惯把负面结果的论文塞进抽屉，但它们可能极富启发。
Strogatz:第六条我们都深有体会——看到幻觉的时候。从错误中确实能学到很多。
Mitchell：人们庆祝正面结果、为负面结果找解释。但真正理解发生了什么，靠的是看它在哪失败。
Strogatz：给我们讲讲聪明汉斯的故事吧。
Mitchell：聪明汉斯是二十世纪初德国的一匹马，会答算术题。你问"14 加 12？"它就用蹄子敲 26 下。天才马。包括许多科学家在内的人都相信这是一匹懂数学、会数数、能像人一样推理的马。
后来心理学家 Oskar Pfungst 说：我们来做点对照实验吧——这在当时的心理学里还是个新概念。如果让汉斯看不到提问的人会怎样？它就失败了。原来它读的是提问者脸上的细微线索。而且如果提问者自己不知道答案，它也会失败——因为提问者在它敲蹄时做出反应，到答案时人会发出无意识的信号被它捕捉到。所以它是匹天才马，只是不是人们以为的那种天才：它是读人脸社会信号的天才。
Strogatz：这个寓言给我们的教训是什么？
Mitchell：有个真实案例：某个 AI 系统"很擅长"理解科学论文中的图表并能回答相关问题。对照实验是把问题给它但不给图。听起来荒谬吧？不看图怎么答关于图的题？但它就是能做到——问题和正确答案之间存在某种虚假关联（spurious association）。回头看，这是基准设计者的实验设计缺陷。糟糕的实验设计无处不在，混杂因素太多，这正是"可重复性"在科学中如此重要的原因：一组人得到的结果未必可信，独立团队的重复验证才是关键。AI 领域很少人做这件事。
Strogatz：为什么不？
Mitchell：一是复现不风光、没激励（所有学科皆然）；二是大多数 AI 研究者的背景是计算机科学，没受过实验方法训练。我是计算机科学家，我们系从来没开过这门课，它不被视为计算机科学的一部分。这是当今 AI 讨论中缺失的东西之一：我们凭什么信任那些"AI 能做各种事"的实验结果？
Levin：有趣——这似乎是量子力学里"观察者干扰"的认知科学版本。不只是实验者在干扰实验，而是实验者的心理本身在干扰。
Strogatz：现在 AI 公司频繁用基准测试展示系统离 AGI 或超人类智能有多远，或者只是用来互相竞争……
Levin：我觉得问题的根子在于我们并不真正知道如何评估人类的智能。我们连自己思考时脑子里发生什么都说不清——我没法告诉你"我现在构造这句话的过程是这样的"。自我报告不可靠。AI 也一样：很多人说"为什么不直接问它？"——它同样无法准确地自省。
Strogatz：魔术师的角色呢？魔术师最擅长向我们展示自身的心理极限、我们多容易被骗。也有人给 AI 变"戏法"、暴露其常识缺陷。这类东西会不会有严肃的科学价值？
（中场休息后）
Strogatz：Melanie，你教了很多年书。学生能把答案做对，但你开始追问他们真正理解了什么，就会发现他们常常是对的答案、错的理由。这就引出表现与能力的区别？
Mitchell：这是心理学和语言学的一个老区分。可能有能力（competence）却因某些原因无法表现——比如情绪冻结、发挥受阻。反过来更麻烦：有表现而无能力——学生背下了课本上的题和解法，却不懂一般原理；换个稍有不同的版本就不会了。
Strogatz：如果我们想检验 AI 是否"理解"，什么算证据？假设有人说这些系统已经跨过门槛、真的理解了——
Mitchell：天哪，我最讨厌在"理解"上学究气，但它的含义太多了。圣塔菲来过一位哲学家，把理解拆成 25 种类型。有 P 理解、G 理解……我不确定存在单一的"真理解"。我和合作者最近在做的是考察理解的不同维度。比如让语言模型生成一个短篇故事——它会写得漂亮而连贯。然后你开始就这个故事向它提问，它常常以奇怪的方式失败——尽管故事是它自己写的。很多任务都是如此：在一个维度上理解，在另一个维度上不理解。 也许深层理解就是在很多个维度上都理解。
Strogatz：你的文章里有个词我印象很深："任务的暴政"（the tyranny of tasks）。
Mitchell：最早听哲学家 Shannon Vallor 说的。在 AI 里世界被按任务划分：它能做摘要，那就测摘要；能答图表问题，就测图表。现在又被拿去测国际数学奥赛、研究生难题、未解决的开放问题——三层数学基准。能力就这样被基准定义。一个基准可能是律师资格考试，它考得很好，于是人们说"律师们小心了，你们的工作危险了"。但定义方式只是"在特定题目集上表现如何"，而一份完整的工作并不等于一连串独立的任务。这几乎是个谬误：AI 能做好一堆任务 ≠ 它能做 associated with 这些任务的那个人的工作。
举个著名的例子。Geoffrey Hinton 大约 2016 年说过：AI 读放射影像的能力惊人，别再上学当放射科医生了，五年内 AI 会拿下所有这类工作。十年过去了，我们现在缺的是放射科医生。不知道是不是因为他那句话（笑）。事实是：AI 能在这些基准上击败人类医生，不等于能在现实世界里干这份工作——后者开放得多，不是一系列良定义任务的串行。
Strogatz：但还是让人想问：如果它们真的擅长读片，人类放射科医生还剩下什么？在我的数学世界里也一样：它们证明定理很强，但还不擅长提出新概念、构建理论。解题与理论建构之间有条大缝。我们是退守到它们不做的那部分吗？
Mitchell：也许。你的工作因这些工具发生很大变化我不会惊讶——它们会成为数学家难以置信的得力工具，就像个人电脑出现时那样。George Lakoff 和 Rafael Núñez 有本精彩的书，讲数学思想如何经由隐喻而来，认为人的具身经验（embodiment）是理解与数学的重要部分。
Strogatz：这正是希望所在——现在机器没有好的具身性。应用数学尤其如此，我们从自然、工程、社会获得灵感。冯·诺依曼说过类似的话：当数学变得太"为艺术而艺术"、漂离源头太远——他的源头是自然与现实——就会变得贫瘠。如果纯数学更多地从自然取材，也许还能再享受几个世纪。
Mitchell：AI 圈有句格言：简单的事很难，难的事很简单。 纯数学被人类视为智能最高贵的展现——是最难的事，然而我们知道难事对机器反而更容易。
Strogatz：科学里也有"硬科学/软科学"的说法——经济学、心理学、人类学这些"软"科学才是真正的硬骨头。那么五年后再见时，你希望我们对 AI 系统有什么样的理解？想做哪些今天做不到的测试？
Mitchell：我真正寄望的是一个叫机械可解释性（mechanistic interpretability）的方向——相当于 AI 的神经科学：直接看激活、权重和系统的全部混乱内脏，然后在更高层面理解它们在做什么。现在这还是个小领域，人们在开发类似于 fMRI 的工具。还没人真正找到正确的方法，但我希望能实现——那时我们将真正理解它们的局限：能做什么、不能做什么、容易犯什么错、也许还有怎么修。
Strogatz：你戳中了我们的渊源。当年你做的是"用遗传算法演化元胞自动机"（GAs for CAs），和 Jim Crutchfield 一起演化出解决困难问题的算法；而最有创造性的部分是你事后对系统的剖析——把它的行为分析成按规则碰撞的"粒子"。那其实就是可解释性的原型。
Mitchell：哈哈，我倒没想过这个联系，但确实如此。这也是复杂系统讲的"涌现"——我们认为那是涌现计算。这些 AI 系统同样有不易发现的涌现计算，它们就在那里；如果我们理解得更透，就明白系统究竟是怎么工作的。
Strogatz：说实话，这态度有点可爱又有点老派——这个自负：我们这些心智有限的人可以继续对 AI 做"科学"，继续搞清它们怎么做事，就像科学史上一直的那样。而我黑暗的一面觉得：随着这些玩意越来越大，我们能这样做的日子屈指可数了。谁说我们一定能继续研究它们？
Mitchell：有意思的问题。我们为什么要做科学？为了解决问题是一方面，但我们也被"想要理解"驱动着。小孩子身上就能看到——他们的第一批词里常有"为什么"，而且不停地问。这是人类的驱动力，很难对抗。这也是你我入行的原因。
前段时间我参加一个"AI 在科学中的角色"的圆桌，一群名人畅谈 AI 将革命天气预报、遗传学、宇宙学等等。最后我问："这会对人类对世界的理解有贡献吗？"他们说："我们为什么要关心那个？"
Strogatz：这正是所有人都在想的分岔。科学有两面：一面是乐趣——搞懂事情的快乐，"why 的喜悦"深植于我们物种；另一面，长久以来科学也是服务于技术与医学的工具。我的问题是：当我们不再是解决重要问题的最强者，我们还会从好奇心的喜悦中获得快乐吗？最后一个问题：你当年为什么入行？如果是今天起步，还会有同样的好奇心吗？
Mitchell：好问题。小时候我爱逻辑谜题——骑士与无赖（永远说真话的和永远撒谎的）。Raymond Smullyan 写了好几本这种谜题书，我爱极了。上大学读了侯世达的《哥德尔、艾舍尔、巴赫》——某种意义上那是这些谜题的现实版：哥德尔定理、数理逻辑悖论，以及这一切与认知、思维、创造力的关系。我被彻底击中了：这就是我要做的事。当时说不清具体是什么，大概就是人工智能。于是追随 Doug（Hofstadter）做了导师，加入他的小组研究类比谜题，着迷了很多年。
如果今天是那个年纪……我会担心。事实上我有个儿子正在读机器学习博士，他想做 ML 研究，却相当紧张：也许不会再有"人类做 ML 研究"的角色了——AI 会自己做所有 ML 研究、自我改进下去。我不知道我会不会有同样的想法。
Strogatz：也许五年后真得再聊一次——到时候也许就有答案了。谢谢你这期节目。
---
片尾两位主持人的感想
Levin：我记得当学生时第一次学到牛顿定律、然后是开普勒定律——开普勒定律让牛顿定律变得美丽，那天体的周期。我从没想过"哦，我不是最强的，所以我不该学它"，也没想过"除非有一天我能成为最强的，否则我不能从学习中感到快乐"。当然，很多人研究的都是别人已经更擅长的东西。所以我猜：也许 AI 会比我们先知道答案，但我们仍需自己去获取理解——获取的过程中有同样的体验。也许 AI 会成为我们与直接拷问自然之间的过滤器，但我们仍在获取知识、仍有那份体验。我说不好。也许一切都将从我们身边掠过。
Strogatz：我喜欢你对"不必最强"的强调——那其实没什么可焦虑的。上了大学我才懂得"不是最强"意味着什么。在这种优化的时代——更快、更便宜——我们太执着于当第一名。但生活里我们常常不是最好的：我网球打得不最好，照样热爱打；棋下得不最好，照样乐意下；我也努力当最好的父亲，但多半也不是。这些事情本身就值得做，它们给我们愉悦。
我对这件事几乎有一种哲学甚至宗教式的感受。我们在世上活着的时间有限，而这些 AI 问题确实触及人生意义的问题。我们到底想做什么？如果人生的意义在于成为某个领域的最强者、或做出改变世界的发现，那绝大多数人的人生都毫无意义——我不愿相信那是正确的版本。
我爸就不是。他连大学都没上过大萧条年代长大，那不是选项。他的人生是做一个好父亲、照顾好到他鞋店买鞋的人们。我们小镇上每个人的鞋码他都记得。他去世时留下了好名声。人们记得他。
Levin：是的。
Strogatz：好吧，这些和我们的科学节目有什么关系？
Levin：我想，对一些人来说人生的意义在于获取财富——他们会爱死这些东西，因为有了新工具能更快撬动所有按钮、获取更多。而有人在唱歌、写诗、写小说、做数学中找到意义——我想这些领域都有点紧张：重新评估自己的位置在哪、如何保住它、如何看待它。
如果我玩一点推演的话：还存在一个世界，AI 就像个超级计算机——超级计算机能算出所有数字，但如果它以一串符号呈现给我们，即使某种意义上它有答案，对我们而言那不是有意义的答案，没有人珍视它。作为人类，我们在"人与超级计算机渲染的星系图像、生物医学神经图谱"之间仍有非常重要的角色。它并没有夺走科学家的工作。所以很可能它真的会继续是工具，而不是取代并抛弃我们的东西。
Strogatz：这就是问题所在。有两个看似合理的剧本：一个是它继续是工具，我们始终在科学与数学前沿扮演不可替代的角色；另一个——我心里其实信这个——我们不会在前沿了，而且很快。那意义何在？但我仍觉得有意义：就像我高中时"发现"数学的那些时刻——对我而言是发现，对世界不是。我们也许都得接受这个：真正的发现将由 AI 完成。我真的相信这很快会发生。我可能错——也许有根本性的原因使 AI 做不到，比如它们没有身体、没有社会生活……但我觉得这些问题都会很快被解决。你怎么看？
Levin：我觉得"做出发现"和"获得理解"是有区别的。某种意义上也许是超级计算机先做出了发现，但我们仍说是那个人做出的——因为在它以人类能够 comprehend 的方式呈现出来之前，那个发现还不算数。说实话我也不知道。我并没有因此特别悲伤或悲观——直觉上我并不恐惧这个前景。也许我应该恐惧，也许这只是天真的福气，我就等着它悄悄降临吧。
Strogatz：有一点我们可以非常乐观：我想我们将迎来一场辉煌的科学黄金时代——AI 的发现、或人与 AI 协作的发现，会在未来五、十、十五年里密集涌现，那将是科学壮丽的烟花时刻。愿我们有幸活着看到这一切。
原节目标题：The Joy of Why · Are We Thinking Correctly About AI Intelligence?（2026 年 8 月 20 日）。本译文为完整精译版，省略了开场闲谈、重复语句与制作名单。