OpenAI's Dan Roberts: Why AI Can Now Make Discoveries

CHAT GPT 能做到的一件事，是先假定它是错的。当你逆势而行，做这种 contrarian（反共识）的事时，你真的必须对自己在做的事情有非常强的信念，才能沿着一条非常漫长的计算路径坚持下去。我感到非常兴奋的是，在 models（模型）的帮助下，而且由模型作为主要驱动力，我们将真的能够回答很多我们关心的科学领域中的基础性问题。这实在令人非常振奋。

大家好，我是 Matt Turk。欢迎来到 Matt podcast。过去几天，AI 领域再次经历了非同寻常的时刻：OpenAI、DeepMind 和 Anthropic 攻克了数学中一些最著名、长期未解的问题，也就是所谓的 Erdosch problems。很多人把这一刻视为一次惊人的突破，也把它看作又一个信号：AI 正在从完成我们交给它的工作，转向自主做出深层次的科学发现。为了拆解这一时刻，以及使之成为可能的模型推理能力中的根本性进展，我非常高兴邀请到 Dan Roberts——OpenAI 的顶尖 AI 研究员，他有深厚的 theoretical physics（理论物理）背景，并且特别关注 science 与 AI 的交叉领域。

在这段对话中，我们会深入讨论 reinforcement learning（强化学习）到底是什么——它是当下 AI 中最重要的范式——以及 AI 与 science 的未来会走向何方。请欣赏我与 Dan Roberts 的这段对话。嘿，很高兴做这次访谈。感谢你抽时间来。

当然。很高兴来到这里。

你是 OpenAI 的 foundations of reinforcement learning team 的负责人。所以，这具体是什么意思？这个名字是什么意思？

我们所在的更大团队叫做 foundations，而我们思考的是 reinforcement learning，所以就成了一个非常朴素的名字：foundations of reinforcement learning。不过这个团队的出发点，是去思考 reinforcement learning 的科学问题。很久以前了——当然，用 AI 的时间尺度来说，“很久以前”大概就是六个月，也许一年，不过现在大概算两年了。总之，在我们发布 a one 和 thinking reasoning models 之前，我们就在内部研究这些东西了。

而率先做这件事的一个优势——或者至少，被迫先做、并且投入大量资源去把规模扩起来的一个优势——在于，你可以让一群人不只是去研究怎样把这个东西做出来、让它运转起来，还可以去研究它到底是怎样运作的。再进一步，规模该怎么扩？我们应该怎样看待 scaling reinforcement learning，与 scaling pretraining 相比又该如何理解？也就是说，scaling laws（缩放定律）会是什么样子？再往前一步，这种训练到底会教会我们什么？

它又不会教会我们什么？在前沿的 exploratory scenarios（探索性场景）中，我们非常感兴趣的是：如何改进，或者更好地理解 reinforcement learning 到底在做什么。我们拥有这些众所周知正在不断获取中的 compute（算力），而我们希望把这些 compute 转化为 intelligence（智能）。而要做到这一点，我们就需要构建 thinking models。

而且在这条路径上的某个阶段，我们会介入那个过程，通常是在较早的阶段，针对那些模型——不是下一个模型本身，而是类似于下一个模型、或者下下个模型的东西。

很好。那快速问一下，你是怎么来到 OpenAI 的？也就是说，你是如何从学习 physics（物理）走到今天这个位置的？

我在 MIT 读了 theoretical physics（理论物理）PhD，研究的是 quantum gravity（量子引力）和 quantum information（量子信息）的交叉领域，思考了很多关于 black hole（黑洞）和 quantum chaos（量子混沌）之类的问题，比如如果你把某样东西扔进黑洞，会发生什么？信息会怎样？它会出来吗？如果把黑洞看成 computer（计算机），它们有多快？我当时对 theoretical physics 里的一个根本问题非常感兴趣，也就是：怎样找到一个 quantum theory of gravity（量子引力理论）？

我也对 computation（计算）与 physics（物理）定律之间的这种相互作用非常感兴趣。你知道，任何 computer（计算机）都存在于宇宙中，并且按照物理定律运行。所以，你能进行的计算种类其实受到物理定律的约束，而这里面存在某种有趣的关系。black hole（黑洞）很有意思，因为它们某种程度上达到了关于 information（信息）处理的一些猜想性上界。之后，我去了 Institute for Advanced Study 做 postdoc（博士后）。

也就在那个时候，至少在这个领域里我现在已经算挺老了，所以那大概是 2016 年。当时 DeepMind 在 2015 年发表了 DQN Atari paper，接着 2016 年有了 AlphaGo。我对 machine learning（机器学习）的可能性变得非常兴奋，后来又对 deep learning（深度学习）很着迷，因为它是一门 statistical science（统计科学），存在于一种与我们用来研究宇宙其余部分的框架相似的框架里。所以始终都有这样一个问题：一切究竟是如何运作的？这是一种像三岁小孩一样“我对一切都好奇”的问题。如果你向外看，并且足够在意，也许最后会走向 philosophy（哲学）；如果你更偏 quantitative（定量），那你可能会走向 physics（物理）——当然，这是非常粗略的概括。

能真正起作用的 AI 非常迷人，或者说，能够起作用的 AI systems（AI 系统）非常迷人，因为它们是一些简单的例子，却能做出人类会做的事情。而如果它又处在与我们理解其他一切相同的框架中，那么你就可以在“宇宙如何运作”和“我是如何运作的”或者“intelligence（智能）如何运作”之间建立类比。所以我对 AI 和 deep learning 产生了极大的兴趣，随后在大概 2017 年去了 fair，也就是 Facebook 的 AI research lab，基本上是想尝试用 theoretical physics（理论物理）的工具来理解 deep learning。大家原本觉得 deep learning 是一种非常困难、无法理解的东西，而我觉得 physics（物理）的工具也许会有帮助。最终，这件事发展成了我和一位合作者一起写的一本书——他现在在 OpenAI，仍然是我的合作者，做的事情和 Shoyeda 一样——我们写了这本 The Principles of Deep Learning Theory。这本书汇集了这一系列想法：我们能不能用理解 statistical systems（统计系统）的统计学思路——比如房间里的气体，我们可以用一些简单的 thermodynamics（热力学）定律、ideal gas law（理想气体定律）来刻画它——也许我们也能在理解 deep network（深度网络）方面取得类似的进展。

这大概就是我的转变过程。期间我也做过一家 startup，还在 Sequoia Capital 做过 entrepreneur in residence。所以我心里一直有一种张力：我到底是 scientist（科学家）还是 entrepreneur（创业者）？但大约两年前，在思考自己是否还想再创办一家 AI 公司之后，我意识到，当下最令人兴奋的事情，其实是 frontier（前沿）上正在发生的事：AI 领域里正在出现一些惊人的科学进展，而如果你真的想触及这些问题、理解其中到底发生了什么，你就得身处其中，你必须参与进去。而这就意味着加入 lab。

所以我在两年前加入了 OpenAI。

很好，谢谢你这么说。你觉得，在 AI 越来越能够解决困难科学问题这条演化路径上，我们现在处在什么阶段？我的意思是，这当然是整个行业讨论了一段时间的话题了，但现在看来它似乎正在加速，也许就像 AI 里的其他一切一样。那么你觉得我们现在到哪一步了？

我觉得有意思的一点是，这个过程是平滑的。这里不存在一个明确的临界点，或者说，我不认为未来会有那样一个明确时刻，让我们可以说系统之前还不能对科学研究过程产生作用，而之后就 suddenly 变成了成熟完整的科学家；更可能出现的是一种渐进式转变。如果一定要指出一个时刻，也许会是 OpenAI 发布 o1，以及 test-time compute（测试时计算）和 reasoning（推理）这一范式的出现。但我也很确定，如果我真这么断言，你完全可以回头去看 GPT-4，并发现其中其实已经出现了一些对科学研究过程有用的行为迹象。更一般地说，这些模型在某些类型的任务上已经非常强，而这些任务显然是有助于推动数学进展的。

它们还不是那种在任何领域里都能 open-loop（开环式）独立运作的、完整成熟的科学家，当然，你知道，我自己其实也不是。但这看起来确实就是一个很不错、很自然的渐进过程。

所以感觉这周特别适合来聊这个话题，因为就在过去几天里，在 AI 与数学这个大方向、尤其是围绕 Erdos problems 的领域中，出现了好几个不同的公告。OpenAI 率先公布了这项进展，但几乎就在几小时之内，Google DeepMind 也针对不同问题提出了自己的说法，接着 Anthropic 也有一些相关声明。不过据我理解，OpenAI 的方法和 DeepMind 的方法非常不同，而这可能会很有意思，因为它关系到这对 AI 作为 research scientist（科研型科学家）意味着什么。

这个 conjecture（猜想）大家原本都认为是真的，但就是无法证明它。CHECH EPT 能做到的一件事，是先假设它是假的。而当你逆着主流、采取这种反常规的做法时，你必须对自己在做的事情有非常强的信念，才能在一条特别漫长的计算路径上坚持下去。因为在这条路径上，你会面临很多可选的分支。如果其中任何一个选择错了，或者你的想法行不通，那么最后你就会发现自己根本没有取得任何进展。

所以你需要非常强的坚持力。然后你还需要另一个领域的专业知识，比如 algebraic number theory（代数数论），也就是某种对 number theory（数论）的推广，研究的是一些可以看作对整数和实数的推广对象。沿着那条路深入走下去，你就能反驳这个 conjecture。那就是那个重大结果。真正的重大结果是：这个关于可构造配对数量下界的 conjecture 是假的。不仅是假的，而且它之所以是假的，是因为它与数学中另一个领域存在一个非常有意思的联系。

所以，你必须是这样一种人：你先要意识到这个问题很有意思——这听起来像是你的一个专长；然后你还得在另一个方向上也具备专业能力；接着你还得非常反常规，愿意沿着这条特别漫长的路径一直走下去。这样一来，你才有可能识别出这个解法。

OpenAI 的方法和 DeepMind 的方法非常不同。你愿意比较一下这两种方法的异同吗？

GDM 采用的一种方法，是把问题用一种叫作 Lean 的形式化语言来表述，然后在那种语言中用各种方法搜索证明。对于某些问题，要让它们能够被这样表述，还需要一个叫作 auto formalization（自动形式化）的过程：你把问题的英文版本翻译成严格的形式化陈述，然后再在那个体系里进行证明。这样设计出来的目的，是让证明可以做到 airtight（无懈可击）；不需要有人再去检查是否存在某个隐藏假设，或者某种奇怪的问题——通常就是那些不够严密的隐藏假设或定义。但在这种设定下，也就是 DeepMind 非常重视的一种设定里，他们确实能够把一些问题形式化，并用他们的系统把它们证明出来。所以这是一种路径。

另一种方法，是直接处理用英文表述、并附带数学表达式的问题；也就是说，只看它的英文陈述，这本身是非形式化的，然后去理解其中的含义，再用非形式化语言把它解出来，给出一种很像人类数学家——或者说不使用 Lean 的人类数学家——会写出的证明。然后你还得去检查它。因为这不是那种可以自动检查的东西，所以 verification（验证）问题会更难。

而第二种方法就是 OpenAI 采用的。

据我所能想到的，我们公开发表的大多数结果基本都属于这种非形式化设定。我们有一些 language models（语言模型），我们训练它们在 test time（测试时）进行推理，而其中一个应用或 benchmark（基准测试）就是数学推理。

好，很好。那么我们来聊聊 reinforcement learning（强化学习）吧。为了让更多人都能听懂，我们先从最基础的说起。你能不能用一两三句话定义一下什么是 reinforcement learning，并且最好再给一个简单、非技术性的类比，帮助大家理解？

也许一个简单的讲法，是给你举两个例子，说明一个人——也就是你自己——可以怎样去学习某件事。我们不妨用一个游戏，甚至就说一个 video game（电子游戏）来举例。对吧？我年纪够大，还玩过最初的 eight bit Mario Brothers，也就是 Super Mario Brothers。所以，下面是你学习怎么玩它的两种方式。

第一种方式是：你爸爸把游戏机拿出来插上电，启动游戏，然后他自己玩上几个小时。而你就只是看着他玩，仅此而已。也就是说，他是在向你示范怎么玩。然后到最后呢，你知道的，他这个人也不怎么厚道，所以他根本不让你上手玩。

但接着他会跑到外面去做别的事。然后，你就偷偷溜进他的房间，把机器插上，试着自己玩。那你会玩得有多好呢？其实你做过的事，无非就是努力记住他是怎么操作的。你自己从来没有亲手按过任何按钮。

你还没有亲自去和这个游戏互动。有时这被称为 expert demonstrations（专家示范），也就是，你知道，你你你只是在试着记住别人是怎么做的。它是 supervised learning（监督学习）的一种版本。但这里的 supervision（监督）有点像：你只是看他怎么做，并接受那就是真正正确的做法。至于 reinforcement learning（强化学习），则更像是你爸爸说：“来，你自己玩玩看？”

也许他给你演示一次，也许甚至都不需要演示，因为这个游戏设计得非常好，能够通过一种叫 curriculum（课程式推进）的方式，把你从一无所知逐步带到能够熟练游玩。但关键是你自己去玩。也许你做的第一件事是往前跑，打到第一个坏人，然后——这个例子可能有点过时了——你就掉了一条命。但第二次你按了个按钮，跳了起来。所以是你在采取 actions（动作），同时有一个 environment（环境）在给你反馈。

而且你会知道，在这个过程中，environment（环境）、你能采取的 actions（动作），以及你得到的 responses（响应）之间，有着非常紧密的联系。然后最后一个部分是 reward（奖励）。这个 reward（奖励）有时可能是你经常能拿到的。比如说，每次你做了什么事，都会有某个分数上升；也可能它只会在最后给你。所以你下一盘 chess（国际象棋），到了最后，你才得到一个 reward（奖励），也就是你赢了或者你输了。

但在中间阶段，你其实并不真正知道自己表现如何，直到最后才知道。所以这叫 sparse rewards（稀疏奖励），不过我认为这里的基本思想就是：当然，这里面显然有很多变体，也有很多应对办法，但核心概念是，你会和一个 environment（环境）互动，你会得到 reward（奖励）；而且很多时候，这种方式会给你某种反馈，而不是只是去试着从那些你无法亲自互动的数据中学习。

那它为什么有效？为什么 RL（强化学习）会这么强大？

它之所以有效，是因为它能够从 environment（环境）中获得反馈。你可以去学习；如果你做对了，你就能想办法学会那些你原本不知道的东西。我也认为它之所以强大，还因为一个事实：当你是在适合自己的层次上学习时，学习会容易得多。对吧？如果你想学加法，就不该去读一本微积分教材；你应该通过练习、并在合适的层次上学习来掌握它。

如果是我自己在做选择，并且从我自己的选择中学习——不管这些选择是否有效——那么我就能够把它更好地放进一个语境里，和我已经理解的那一整套东西结合起来。

很好。那么反过来说，问题出在哪里？RL（强化学习）又会怎样失效？

真正非常困难的情形，是我之前提到过的那种：你从环境中得不到太多反馈。你必须采取很多很多很多很多步行动，然后最后可能才得到一句“是的，这整套行动都不错”或者“不是，这整套都很糟”。比如说，你在下一盘国际象棋，在把所有棋都走完之前，你并不知道自己到底做得怎么样。这个例子里还有对手，所以可能更复杂一些。也可能是你在尝试做一道作业题，而且是研究级别的，或者，你知道，就像有人给你一个定义明确的问题，就像我们给 language models 的那样。

而且这类问题可能需要连续思考很多很多天。过程中你可以做出的选择非常多。如果到最后你根本得不到任何反馈，如果你只是一个人躲在树林里、埋头在笔记本上乱写，那样是很难取得进展的，因为你没有任何反馈，你没有任何感觉。即使你最后得到一个 yes，或者最后得到一个 no，你也完全不知道自己采取的那些行动里、做过的那些事情里，哪些是好的，哪些是坏的。

好的，很棒。现在我们来谈谈 RL 在 large language models 场景中是如何被应用的。那么从历史上看，第一步是 RLHF 吗？

对，我觉得这么说大概是公平的。至少从广义上说，最早用在 language models 上的那类 RL，是 post-training 过程的一部分；它的目标是把一个只会在 Internet 上预测下一个词的模型，变成一个会遵循你的指令、会友好回应你，或者说，能符合 chatbot 这种形式的东西。

那你要不要给大家定义一下什么是 RLHF，并快速讲讲它是怎么工作的？

基本思路是，你可以从 humans 那里收集数据。RLHF 就是 reinforcement learning from human feedback（基于人类反馈的强化学习）。所以你从 humans 那里收集数据，然后训练一个 value function。比如在 language model 的场景里，你可以展示两个不同的 completions，它们都来自某个 language model，然后让人来判断哪个更好。这类比较数据可以用来训练一个 value function，接着你就可以把它当作 reinforcement learning 过程中的 reward 来使用。

很好。所以你一开始是用 humans 来做这件事，但之后你会把它做成一个 reward model，对吗？

对。所以你会为这件事训练一个模型。然后，因为在训练过程中，你不可能每次都暂停 training run 去找一些 humans 来提供 input，对吧？那样反馈的 latency 会高得不可接受。所以你需要一个 proxy，去近似 human 会怎么说。

所以你会基于人类偏好数据来训练这个模型，然后你就可以针对它进行优化，或者至少在一定程度上进行优化。

在我们 RL（强化学习）的历史中，一个很有名的事情就是 move 37。你要怎样训练一个模型，既鼓励模型做出那种事情、想出全新的方法，又同时保持高效并利用已知路径呢？

对。Go 的一个很棒之处在于，你可以直接训练它。它是一个零和的双人博弈。你可以用所谓的 self play（自我博弈）来训练。它和自己下棋，可以从随机乱下逐步提升到专家级水平，并且它会找到各种某种意义上的最佳策略。

所以，如果这意味着要探索，那很好；如果这意味着要利用，其实也很好。我这里有个挺有意思的故事。我在读研时认识了 Noam Brown。虽然他和我不在同一个研究生院，但他想参加 MIT 的 poker bot 比赛。他当时有一个世界上最强的 poker bot，但它还不是那种已经能和人类真正竞争的水平。

他刚刚在一个科研比赛中获胜。后来他和我、还有另一位朋友合作，一起参加 MIT 的 poker bot 比赛。其实这对我来说特别棒，因为我由此接触到了一些非常令人兴奋的 AI 研究工作，而那时我本来还在做 physics。我们本质上采用的是一种 self play 下的 equilibrium strategy（均衡策略）。这里面有一些细节差别，但基本上，只要我们的代码没有 bug，我们就不可能输。

这个东西的运作方式是这样的：那是一个锦标赛，你会和另一个人配对进行对局；然后根据你在某种 round robin（循环赛）机制里拿到的积分，他们会淘汰掉排名靠后的半数选手，再继续进行，直到最后来到 final table，也就是比如只剩下你和另一个人对决。到了公布比分、颁奖的时候，我们其实并不知道结果如何。但现场有人展示了一个图，大意是看每个人的分数随时间是怎么变化的。我记得当时好像是 64 人，不过我想实际上应该是 32 人参赛，所以大概是一个 32 人规模的比赛。

随着比赛进行，30 个人的分数基本都非常负，而且还在不断往下掉。然后有一个人的分数走势几乎是笔直向上的；还有另一个人的表现也不错，但斜率没有那么夸张。所以你想猜猜我们是哪一个吗？我们是那个斜率较小的，而另外那个人的斜率特别夸张，简直是在彻底碾压其他所有选手。

接着这种情况在 16 强、8 强、4 强都发生了。然后到了最后两人对决的时候，就是我们和那个家伙单挑；在整个锦标赛过程中，他总体上赢得比我们多得多，也就是从其他所有人那里拿走了更多“钱”。但最后我们把他打爆了。为什么？因为他一直是在利用其他所有人的弱点。

对吧？它当时需要某种 theory of mind（心智理论）来试着判断，哦，这个人你知道，会在虚张声势时这么做。所以我猜它一定非常擅长，比如说，利用其他所有人的行为模式；但我们当时采取的只是你在已知条件下所能做出的最佳策略，所以标准并不是让你从别人那里拿到最多，而是不要输。对吧，我是说？

而且，而且，而且，你知道，它就是对任何人的策略的最佳响应。所以到最后，假设我们做对了，我们就必须赢；而如果另一个人采用同样的策略，那结果就会是平局。

好的，很有意思。那么把这个话题和谈话一开始关于 Erdos problem 以及求解尚未解决的数学问题联系起来看，直觉上你大概会认为这需要大量的 exploration（探索）和 exploitation（利用）。那么在全新的科学发现语境下，这具体是怎么运作的？

我认为数学研究，或者更广泛的科学研究，一般都同时包含 explore（探索）和 exploit（利用）的很多变体。举最近的例子，OpenAI 的 unit distance proof，我觉得非常属于 explorer（探索者）范式：模型愿意唱反调，去尝试推翻这件大家都相信的事。它依托的是一个对整个人类数学理解的巨大知识库。所以它花了非常长的时间，我忘了具体是多少小时了，但我记得我们公布过一个回溯版本的 chain of thought（思维链），里面是它连续几个小时、好几个小时地尝试不同的方法。所以这显然属于探索的范畴。

不过很多时候，你也可以让这些模型去计算一些它们本来就非常理解的东西，那样它的结构就不同了，看起来会更像 exploit（利用）。在 OpenAI 那个结果之后，最近又出了一篇论文，讨论另一个不相关的 Erdos problem：大意是，如果你有一个集合，然后你尝试把这个集合和它自身相加，或者把这个集合和它自身相乘。也就是说，比如把元素两两相加，或者把单个元素彼此相乘，然后看你会得到多少个不同的和或积。围绕这个问题有一个 conjecture（猜想）。而这个猜想也被推翻了。

而且，而且那是人类完成的。核心想法是——这其实是一个完全不同的问题——但它受到了 unit distance 那个问题的启发：也就是你可以某种程度上从那里做泛化，选取一类具有某种性质的数字，而这种性质是 OpenAI 模型发现的，然后他们意识到，像这样的性质也适用于这个场景。所以这非常像一种 exploit（利用）。不过，所以我认为这个过程显然就是这样，真正的发现过程就是这样运作的。

我觉得通常当我们谈 explore 和 exploit 时，也许说的是在训练 reinforcement learning（强化学习）模型时，我们该怎么训练它们。但我认为有一个很有意思的点是：在科学发现的过程中，确实存在这种 interplay（相互作用）——一方面是探索，另一方面是利用，而正是这种配合才会真正把整个领域向前推进。

转到现代 LLM（大语言模型）系统里的 RL（强化学习）。以前有一种说法——我觉得这话来自 Jan LaConde——说 RL 只是蛋糕上的樱桃，但我想你一直在主张，现在情况已经反过来了，RL 才是主要部分，也就是蛋糕本身。你愿意带我们过一遍你的思路吗？

对，是的。我大概在一年半前说过那番话。当时我得做一场公开演讲，但很多东西我不能多说。所以我就决定用这个蛋糕和樱桃的 meme 把那个说法反过来表达。RL（强化学习）真的非常令人兴奋。

这也是我今天来这里要讲的内容。我认为，当你拥有大量 compute（算力）时，你会想把这些 compute 转化为有用的 intelligence（智能）。而 RL 就是实现这一点的一种方式。那时候我们才刚开始做这件事，而现在我们会在这方面做得更多。

为什么 RL 现在开始表现得这么好了？这并不是一个全新的概念。很多年来人们都在尝试它。现在到底有什么不同？

是的。老实说，我不太确定，人们说它“以前不行”的时候，具体到底指的是什么。比如在 2016、2017，甚至可能到 transformer 时代之前的 2018，DeepMind 都非常投入 RL，OpenAI 也有 Dota、Rubik's cube，以及其他一些同样很令人兴奋的成果。很多人当时都在全力做 RL，后来 language model（语言模型）出现了。于是显而易见的做法，就是把那个已经被证明有效的东西继续 scale up（扩展规模），也就是 pre-training（预训练）。

至于人们当时到底为 RL 尝试过什么，我也不完全清楚。正如你指出的，RLHF（基于人类反馈的强化学习）很快就成为了一个核心方向。它最初其实是在 game environment（游戏环境）的语境中发展出来的，类似于想通过使用人类反馈来防止 reward hacking（奖励劫持）；我记得最早那篇论文大概是在讲用 human feedback（人类反馈）来控制一个角色之类的东西。不过这里还有一个有意思的点值得指出，那就是一直有这样一个问题：怎么让模型在 test time（测试时）进行思考和推理。OpenAI 很早就有一项关于 reasoning（推理）的工作，投入了一些时间，也提出了一些算法。

我觉得也许一个简单的说法是：如果你有一个足够强大的 pre-trained model（预训练模型），那么它就会开始在 RL 上表现得不错。它们会开始真正“思考”，会利用 test-time compute（测试时算力）去做事，比如解那些原本它并不能解出的数学题。

今年早些时候，大概是 2 月，有一篇传播很广的分析声称，Aurel 每 10,000 个 token（词元）产生的有用信息还不到 1 bit，随后 Carpathi 把这形容为“through a straw sucking supervision（像用吸管吸监督信号）”。你怎么看这个说法，以及 Aurel 整体的效率？

如果你看一下 deep seq algorithm——这是一个公开的东西，所以我们可以讨论——那么它训练用的是那些正确的 sequence（序列）。所以，一段序列到底正不正确，也许确实只有 1 bit 的信息量。于是我觉得，你可以理解这种逻辑是怎么来的。我认为真正的问题是：它是不是在做一种你用别的方法做不到的事情？比如，也许你会想提供更多 supervision（监督信号），但你到底要怎么提供呢？

我觉得很明显，这种方法、这些方法已经带来了一系列突破，尤其体现在 model（模型）能力的爆发上——无论是在 coding（编程）还是 science（科学）方面都是如此。总体来说，核心是在 test time（测试时）让 model 去“思考”，去利用 test-time computing（测试时计算）并进行 reasoning（推理）。而且很显然，RL（reinforcement learning，强化学习）过程中的很多组成部分，对让这件事真正奏效是必不可少的。

你整体上怎么看这种当前的 systems model（系统范式）还能走多远，也就是我们先做 pre-training（预训练），然后再在上面叠加 RL。去年有个相当有名的讨论，是 Rich Sutton 在 Dwarkish podcast 上说的——如果我尽力转述他的意思，那就是：LLM（large language model，大语言模型）其实并不真正智能，因此唯一可行的路径是 RL，而且是纯 RL，不是 LM 加 RL。你怎么看这个观点？当然，你自己就在一家同时做 pre-training 和 RL 结合的公司的 RL 团队里。所以你的看法是什么？

我再讲个故事吧。在我读 PhD 之前，我在 The UK 待了两年，其中有一年在 Oxford。然后我像大家那样去 pub（酒吧），当时我身边有两个很亲近的朋友，一个是 cognitive scientist（认知科学家），一个是 linguist（语言学家）。于是我们就进行了那种在那个年纪、那种场合很常见的争论。大意是：像 physics（物理学）这样的学科，才是一切科学中最基础的，因为它解释了世界如何运作，而一切都存在于这个世界之中。

我之前也说过，我的 computer（计算机）存在于这个世界里，我也存在于这个世界里，我们都遵循 physics（物理）的规律。然后那位 cognitive scientist 大概说的是：是没错，但接下来你还得去处理这些东西。所以这里面会有各种 cognitive bias（认知偏差），以及你收集 data（数据）、学习某些东西的方式之类的问题。但接着那个 linguist 就开始说，什么 Wichtenstein 之类的——意思是，一切都要通过 language（语言）。

语言就是 communication（沟通）的方法。它就是——你知道——词语如何获得意义，这才是核心。然后当我们要谈论 physics（物理）定律时，我们也必须使用 language。我现在有点觉得，他还有 Victor Scheide，说得是对的。对吧？

这就是——或者至少说，AI 走过的这条路径表明——那确实是一条正确的路径。我现在算是向 Kyle 让步了。如果他在听的话，他现在已经是 linguistics professor（语言学教授）了。过去几十年里，reinforcement learning（强化学习）这个概念确实引发了 AI 领域的巨大兴趣；但我认为，当时真正让事情运转起来所需要的那种 grounding（扎根、落地），其实是通过 language 来实现的，因为一切都要经过 language。对吧？

整个 Internet（互联网）都是这样，对吧？它吸收了真实世界的 grounding，承载了我们全部的 scientific knowledge（科学知识）、全部的 mathematical knowledge（数学知识），以及整个人类——你知道——基本上所有工作的总和，都是以 language 的形式表现在 Internet 上的。所以，让 model 先拥有 language 这个 prior（先验），能够用 language 去思考，然后再在这个基础上继续训练，这显然就是正确的做法。而且，这种做法还有一种很扎实的 grounded（有根基的）感觉：甚至在这一切发生之前，就可能已经有人会论证说，这本来就说得通。对于一种 intelligence（智能）来说，把它作为起点是个惊人的 prior，因为它在很大程度上是建立在我们以及我们的社会之上的。至于我和 Rich Sutton 还有别的分歧，如果你想继续追问的话。

好，那就快速说一两个吧。