Ep 89: AI Research Legend’s Honest Assessment of Where We Are

仅靠 reasoning（推理）就足以实现 generalization（泛化）吗，还是还需要另一种方法？

确实感觉还有别的东西，可能会更好得多地实现泛化。

你为什么认为 Anthropic 是第一个在 coding（编程）这件事上真正做得非常成功的公司？

Anthropic 做了一个非常正确的决定，就是聚焦 coding。OpenAI 当时更像是在说，我们要做 chat GPT。Anthropic 作出这个决定的部分原因是，他们根本无法竞争。

对于 closed source（闭源）和 open source（开源）模型之间的差距，以及未来几年这个差距会扩大还是缩小，你的直觉判断大概是什么？

我觉得这是个很合理的问题，但是

Lucas Kaiser 是 transformer 论文的作者之一，也曾在 Google 和 OpenAI 担任过非常重要的职位。关于 unsupervised learning（无监督学习），我有机会把当下 AI 领域最萦绕在脑中的那些问题都问了他。当然，我们也谈到了 transformer，以及他如何看待它持续存在的原因、它是否会继续作为主导架构存在、还有它有哪些不足。我们也聊到了，到了秋天究竟发生了什么，才让 coding 模型真正变得好得多，以及为什么 Anthropic 在 coding 上确实是最先做出来的。我们还谈了他真正感到兴奋的未来研究方向。

我们还谈到了很多关于他如何看待整个生态系统演化的问题，从 open source（开源）与 closed source（闭源）模型之争，到 application companies（应用公司）。我想大家会非常喜欢这一期节目，因为嘉宾是一位顶尖研究者，而他的研究确实在这个领域引发了很多变化。闲话少说，下面有请 Lucas。很高兴能在播客里请到 transformer 论文的共同作者。我感觉你一直站在 AI 世界许多重大变革的最前沿。

而且，你知道，我们的目标其实就是听听你对当下 AI 前沿领域所有这些问题的看法。所以非常感谢你来参加这期播客。

非常感谢。谢谢你邀请我。

我觉得，没有比从 generalization（泛化）开始更好的切入点了，对吧？感觉这就是现在大家都在讨论的那个问题。我记得在 11 月的时候，我听你说过，大意是：这个重大的问题在于，reasoning（推理）是否足以通向 generalization，还是说还需要另一种方法。我在想，毕竟那已经是大概六个月前你说的话了，而在 AI 的世界里，六个月简直像狗年一样，等于已经过去好多年了。

从那以后，你对这个问题的看法是如何演变的？

如果我们看现在的 transformers，配上 reasoning，再加上 agents，并且让它们能够访问 shell 之类的东西，它们已经能做出非常惊人的事情了，对吧？我们已经走了这么远，真是不可思议——哪怕只是和两年前相比，更不用说 transformers 出现之前了。我以前绝不会相信，你知道，只是把这个“下一个词预测器”拿来，再给它 chain of thought、RL 之类的东西以及工具，它居然就能做到这些。拿我自己来说，我现在几乎每天都会花好几个小时和 Codex 交流，或者其他人也是，而且它确实能用，对吧？

你会跟它讨论工作中的难题，它的回答是讲得通的，而且还能把东西实现出来。所以这确实很惊人。另一方面，又总有一种感觉：它还不太像我们，它还没有真正到达那个边界——我们都觉得，它本来或许应该还能更好，对吧？也就是说，我们可以用更少的数据来实现 generalize（泛化），可以以某种方式完成更大的跃迁，用少得多的信息就获得这些概念。

我最近常说一句话：人们常说 Americans 会在把其他所有选项都试过之后，最终做出正确的事情；而 LLMs 也是这样，它们最终会学会那个概念，会学会的——但前提是先把其他所有可能性都试尽。你需要 trillion tokens；你得先把所有那些表层层面的东西都学一遍，只有当这些仍然无法解释某件事时，它们才终于会学到那个概念。

我们可不是这样学习的。我们会直接获得概念；有时候甚至是自己构造出来的，虽然未必都很好。但确实会让人觉得，可能还存在某种别的东西，能在 generalize（泛化）这件事上做得好得多，可能会拥有一种稍微不同的 understanding（理解）形式，更像是长期性的那种。不过，这目前更多还只是一种感觉，对吧？

而且每次我们试图把这件事按住、把它说清楚时，它似乎就会蒸发；或者更像是，它甚至不是蒸发，而是 transformer 很快又追了上来。对吧？就像这一次两边都在增长。对吧？transformer 变得更强了，但我会说，支持“别的东西”的理由也同样变得更强了。

现在已经有不少 lab 在探索 post-transformer（后 transformer）路线，而且人们也看到了一些有趣的结果。外面确实有一些很有意思的东西。所以，你说最后谁会赢？老实说，我现在还是不知道。我觉得两边都有很好的论据，而看到这件事最终会怎么发展，将会非常有意思。

我觉得这对我们的听众来说会很有意思。你知道，我想你最近显然也在一些谈话里暗示过这一点：空气中好像有一种隐约的迹象。对吧？好像有某种正在发生的进展，激发了像这些 neo labs 以及其他一些人 spin out（拆分创业）出来，去做一些也许是对当前各大 lab 内部主流架构的替代方案。那种感觉到底是什么？

是因为看到了这些早期结果吗，还是说那到底更像什么，或者它只是一种研究者的直觉？也许可以把它说得更具体一点，方便我们的听众理解。

我觉得这里面很大一部分是直觉。而且，你也得意识到，这里面很多事情都发生在 San Francisco 的派对上，人们彼此交谈。也可能是在 podcast 上。所以某种程度上，它也许会有一点自我驱动、自我强化的成分。但我觉得，其中确实也有一部分是非常根本性的。

我的意思是，Jan LeCun 多年来——远在现在之前——就一直在说类似的话：我们现在手里的这些模型，从很长很长的历史脉络来看，它们之所以被称为 neural networks（神经网络），是因为它们原本是要模仿我们的大脑，但它们其实并没有真正做到。它们其实相当不同，哪怕它们也许有一些相似之处。对吧？如果你看看人类是怎么学习的，看看我们能做什么，你很难不承认：仅凭少得无法相比的数据，我们能做到的事比当前模型多得多。所以会让人感觉，我们这些学习机器天生具备某种根本能力，而当前的模型还没有。

从根本上说，那里应该确实有某种东西存在，而不只是一种 vibe（感觉）。当然，反方论点会说，这些模型一直以来训练时都有 trillion tokens 可用，而人类从来没有，所以只是我们没有把它们优化到“用更少数据训练”这个方向上。假如你有同样数量的 compute（算力），但数据受限，那么你是可以调整 transformer，让它们比今天表现得好得多。所以，你知道，有些人会说，为什么非要这么做呢？

我们有数据。现在这已经是一个庞大的 enterprise（系统性工程），但即便如此，当我们尝试只用尽可能少的数据去推进时，感觉仍然是——人类获得的数据也很不一样：我们从视觉事物中获取大量数据，通过在世界中移动来获取数据，我们还会采取行动。这些都是非常不同类型的数据，没法真正直接比较。这也是为什么很难就此做出一个非常坚实的科学判断。

有一种感觉是，我们还没有把 machine learning（机器学习）里现有的一切都充分挖掘出来。显然，令人兴奋的感觉在于，也许如果我们把其中“还没被发现的东西”找出来，就能让我们现在已有的成果变得更加惊人。也可能不会。也许当你有那么多数据时，那些东西反而会消失。谁知道呢？

对吧？但这肯定是极其有意思的。对我这个 researcher（研究者）来说，我觉得对很多人也是这样——我的意思是，transformers 真的很迷人。对吧？它们确实很棒。

至于 reasoning（推理），我的意思是，它已经能解决研究级的数学问题了。我想你肯定听说过最近那些 Erdos 的事情，当然。我以前的人生阶段是个数学家，所以这让我非常兴奋。我从没想过，在这个时间尺度上，computer（计算机）竟然能像真正的 researcher 一样，在高水平上和我讨论数学。现在这已经存在了，这太疯狂了。

但接着，作为一名 ML researcher（机器学习研究者），我会想，好吧，可我们其实还没有真正搞明白这种 learning（学习）。会有这种感觉，对吧？就是它当然是在学习，但它需要那么多数据，需要那么多 compute（算力）。这让人觉得我们还没有真正到位。

现在，这只是一种感觉吗？只是一种 vibe（氛围感）吗？看起来在某种程度上，这似乎确实是现实。对吧？不过我们还得继续观察。

从研究角度看，弄清楚这件事的吸引力

是非常说得通的，而且我觉得另一些人可能会看着它然后说，那又怎样？就算它不像人，又怎么样？对吧？我们有数据。我们有一种有效的方法。你知道，显然会有一些领域数据是有限的，比如说 medic——比如 drug development，以及其他一些事情，在这些领域里，从更有限的数据中学习会非常有帮助。

但是，世界上存在的很多问题其实并没有那么受 data（数据）约束。对吧？有时候我觉得，这两边几乎像是在各说各话。对吧？比如 lab（实验室）里的人会对 Yan Lakun 之类的人翻白眼。

我觉得这么说是公平的。但另一方面，考虑到 AI 的投入规模以及它发展的速度，那些不受 data（数据）限制的问题会被非常快地解决。所以很快，剩下的所有瓶颈都会相当受 data 限制，或者已经正在变成这样。尤其是，确实会让人感觉到：如果要在物理世界里很好地工作，你至少需要解决其中一部分问题，因为物理世界里，如果你只在一种 robot hardware 上训练，data 的可扩展性确实不像虚拟世界、文本世界或者 Internet 世界那样。所以，物理世界确实是相当大的一块。

所以人们当然也在尝试，对吧？比如用 simulation data（仿真数据）、egocentric video data（第一人称视角视频数据）或者更便宜的数据来源。是的。

我的意思是，你知道，我是 Waymo 的超级粉丝。对吧？我一直有个玩笑：人们会说，我的自动驾驶汽车在哪里？嗯，我就在开它们。

它们就在这里。但后来他们不是又取消了 highway driving（高速公路驾驶）吗？对吧，因为他们还是处理不了某个 construction zone（施工路段）。这几乎让人感觉像是——你知道的——他们这些 construction zone 的问题都已经存在很多年了。我敢肯定，他们在 simulation 里已经跑了几百万英里，真实驾驶里也积累了相当多的数据，但它仍然没法泛化到高速公路上的施工路段。这种感觉就很不对劲。

我不知道那里面具体是什么没有起作用，但我很确定，没有哪个 teenager（青少年司机）会有这个问题，或者说没有哪个正常人会有这个问题。我们有很多别的问题，不是说我们能在城市里的施工路段开车，却不能在高速上开。施工路段就是施工路段。而且——

你觉得，像这类东西，是否会——或者说是否可能——在 transformers（Transformer 架构）之内被解决？然后我想问的是，接下来几年里，你会关注什么，来更好地回答这个问题？

ML（机器学习）研究里最让人兴奋的一点，就是它的范围实在太广了。对吧？你永远不知道你需要调整的是 architecture（架构）、data（数据）、loss（损失函数），还是 optimization process（优化过程）。而且这些方向各自都有充分的理由。除此之外，最后也很可能会发现，你需要把它们每一个都在某种程度上调整一下。

对吧？就像 transformer 很棒，但它和 next word prediction loss（下一个词预测损失）搭配起来也很棒。对吧？或者你也可以让它和 RL（强化学习）一起工作，但那样你就需要 chains of thought（思维链）。又或者说，这些谜题只有在你把它们一个个卡合到一起时才会奏效。

所以，确实有这种可能：如果出现了某种新东西，那么可能整个体系都需要做一些 tweaks（调整）。但也同样可能，transformers 的某些部分会保留下来，比如 attention（注意力）大概还会在某个位置。对吧？只是也许还需要在它上面再加别的东西。

对。比如说，我的 machine learning 生涯是从 RNNs 开始的，而且我内心深处确实很认同 recurrence（递归/循环）这个思路。我喜欢把它当作一种构造。它给人的感觉是——而且 reasoning 又把它带回来了——因为你每生成一个新 token，当前用来生成它的其实还是同一套 weights（权重）。所以从某种意义上说，它又回来了；但也确实会让人感觉，这种 RL（强化学习）里的 loss（损失）非常稀疏，而你却要做这么多事。

但它确实有效。每次我们尝试用其他方式去做 recurrence，不知为什么，到目前为止似乎就是还没真正奏效。不过，不过，不过问题总是存在：我们到底尝试得有多充分？对吧？我不知道你或者听众是否了解，已经有一些模型，比如 TRM 和 HRM。

这些模型都非常小，但结果是在像 Sudoku 这样的问题上表现得非常好，也包括 RKGI。所以它们多少有点像 toy tests（玩具式测试），但表现确实相当不错。我觉得很多 post-transformer 架构都在尝试把这类思路和 LLMs 融合起来。这当然很有意思，对吧？

有点像是，纯 transformer 在这类任务上做得没那么好，但你加上一些 recurrence，再加一点架构上的 tweaks（调整），也许再换一种 loss，它就会表现得非常好。所以即便在小规模上，你也能做很多事；但它是否能泛化到 language，并给你想要的那些能力，就非常值得观察了。幸运的是，现在已经有不少 labs 在尝试。另一个点是，今年我们有了 agents。

对我来说，这完全是——我会说，这是过去差不多十五、二十年里，作为一名 ML researcher，我工作方式上最大的变化。

我不知道你有没有试着量化过，但你觉得它大概让你的生产力提高了多少？

哦，我我我其实还挺能量化这件事的，因为我最近确实试过，在一台 private machine 上复现一批 papers，比如一些老论文——那些论文我一直都很感兴趣，甚至还包括我自己的一些 papers，因为代码已经丢了。至少其中有一篇，我以前就尝试复现过，而且我知道，当时我花了大约三周才把它弄到可以运行的状态。用 Codecs 的话，我两天就能做到。所以大致可以说，是从一周到一天这种量级；这已经算是 10x 还是 5x 的提升了——当然，也许当年的我本来也还能更快一点。

但它确实会改变你的节奏，因为你可以直接把事情接下来做。还有就是，我现在可以同时开三个任务并行跑着让它自己推进。而以前我亲自做的时候，通常一次只能做一件事。所以它既让速度更快，也让流程更并行。不过，不过，不过，像我自己做一些私人的东西时，不是在 production repo 里，我基本上已经不怎么看代码了。然后有个朋友问我，你觉得自己现在是不是没那么敏锐了？

我认真想过这个问题，我觉得其实恰恰相反。因为虽然我不会去看每一个 class name、每一个小函数，但我依然知道这些 agent 可能会跑偏。比如有一次做这篇 paper 相关的东西时，它跑了某个实验，里面有一些 aux losses（辅助损失），结果它自己又加了一个辅助损失，它觉得这样应该更合理，但其实完全离谱、完全不合适。所以你脑子里必须对它到底在做什么有完整的控制。loss 是什么？但你不需要去控制那种，比如 class 叫什么名字。

你知道，就是那些精确的措辞、函数具体怎么写。很令人惊讶的一点是，你居然可以在某种程度上信任这些 agent，觉得它们确实会忠实地实现你所想的东西。我的意思是，我们有时候也会检查，而很多时候它们确实做对了。但因为你必须在脑子里完整掌控实际运行的 machine learning（机器学习）层面的东西：loss 是什么、batch 是什么，等等，所以我反而觉得，相比以前，这让我对自己在做的事有了更多心理上的控制感。因为以前是我自己去实现，但你知道，在这段时间里、在真正跑起来之前，我有时会有点忘掉整体图景到底是什么，转而去盯那些小细节、debug（调试），然后再回到整体图景。

到那时候，也许我已经忘了某个细节，等它出错时我才重新想起来。现在就像一种很美妙的状态，你可以一直待在这种 flow（心流）里。你只需要从 machine learning 的角度去想，应该发生什么；你告诉它，验证一下，然后事情就真的在发生。对。

所以这不只是节省时间的问题。它就是让工作变得非常舒服。我猜这在研究人员中算是一种轻度 psychosis（精神亢奋/近乎上头）的状态吧。碰上这些东西，我们就是停不下来。

OpenAI 很公开地说过，嘿，我们的目标大概是到今年 11 月做到 research-level intern（研究水平的实习生）那种程度。你自己在研究里一直都在玩 Codex，感觉现在已经接近这个水平了吗，还是说你对这个里程碑是什么看法？

它确实感觉已经有点接近 intern（实习生）了，但你必须非常仔细地检查。就像我刚才说的，它可能会自己给你加一个你根本没要求的 loss，只因为在它看来这很合理。我不知道 intern 会不会这样做。也许会吧，我猜有时候会，尤其是在他们比较有创造性的时候。不过，像我，我有时会试试看。

你知道吗？就像我会让它自己跑一个晚上，我给它一个目标，比如把这个模型做得更好、把 perplexity（困惑度）降下来。但那从来都行不通。它只会开始做一些非常琐碎的 tweak（微调/小改动），既不真的有意思，也不真的有用。所以它肯定还没到 researcher（研究员）的水平。

对啊。Dude，要把那边做得更好，接下来的路径是什么？

这又回到了我们的问题，对吧？很长一段时间里，我一直在做 machine learning 里的 long context（长上下文），甚至在 transformers 出现之前，就已经在做 memory（记忆）之类的东西了。后来我们又用 transformers 来做这个，你知道，context 也越来越长了。我们甚至做到了大概一百万个 tokens，这已经非常惊人了，考虑到 attention 的机制本身是怎么运作的。

但现在有了 agents（智能体），感觉上还真有点像 grep，或者说 rib grep，抱歉，就是说，我们针对 long context 的解决方案变成了：把一大堆东西写进文件里，再给它 grep 的访问权限，这样它就能去查找；然后你再让它去写 index files（索引文件），于是它就像一个小型图书馆。当然，作为一个 ML researcher（机器学习研究者），如果你五年前跟我说这个，我会说这不算解决方案，这是个 hack（权宜之计），对吧？但 machine learning 在某种意义上我觉得本来就有点像各种 hack 的集合。

所以 dropout 也是 hack，对吧？我们并不会评判它。我们只看什么有效，而它的效果好得惊人。

它确实有效。然后你再加一点 RL（强化学习），比如说 compaction（压缩整理）。如果说有什么原因让我更喜欢 Codex 而不是 Cloud Code，那就是 compaction。它可以沿着 thread（对话线程）继续下去，而且特别擅长做 compacting（压缩整理）。它为什么擅长这个？

这里面我觉得没什么特别神秘的，对吧？无非就是人们把 prompt（提示词）写得很好，然后再在上面加一点 RL，让它能够使用 tools（工具）、在文件里找东西，然后再总结得足够好，从而把——如果你几年前跟我这么说，说 long context 的办法其实就是：稍微做一点 RL，让它会用工具、会在文件里找内容，然后总结得足够好以保持——我会说，好吧，这就是个 Band Aid（创可贴式补丁）。它听起来不像什么很深刻的东西，但我们不根据一个方案“看起来像什么”来判断它，我们根据它“效果怎么样”来判断，而它的效果确实非常好。

说到“它能不能成为 researcher（研究者）”这一点，有些人会说，也许不能。也许你需要一种新的 architecture（架构）。也许你需要一种 post transformer 的东西，里面有更大的 concepts（概念），而且能够追踪 goals（目标）。这是个很合理的观点。

对吧？就目前来看，感觉这件事像是被卡住了。但也有人会说，嗯，你会和 Codex 连续对话一个月，然后你会 prompt 它回头梳理这些内容、找出 meta patterns（元模式），把这些写进一些文件里，再去思考它该怎么使用这些东西。也许如果你手上有一千个人以上的数据，再在上面做一些 RL，它就会开始表现得像个 researcher。在某种意义上，这也是研究者学习的方式。

我们会看别人是怎么做研究的。我们也做自己的试验，看看什么效果更好。

为什么这在今天行不通呢？我是说，我敢肯定人们已经试过了。

哦，嘿，不。我觉得大家其实还没有非常认真地去尝试。你知道，这之所以会这样，是因为有些人会处理某些问题，而且那对他们来说是有效的。我的意思是，对我而言，Codex 时代差不多是从今年，或者说从 Christmas 开始的。

对吧？我的意思是，Codex 以前就存在了，我们也用过；Cloud Code 也存在过，而且我们也用过其中的一些部分。但是——

我觉得每个人在 Christmas 的时候都有那种感觉。

但看起来好像只有较新的那些——不过这不只是 model（模型）的问题，也包括 harness 以及一些 tweaks（微调）。所以，是的，这其实才不过刚刚半年多一点。而且如果你稍微走出一点，你知道的，我们这个 SFAI 小圈子，仍然有很多人完全不理解这件事。他们会觉得，你知道，你有点精神不太正常，但为什么呢？

对吧？我觉得这是个很合理的问题，但这件事真正开始起作用，其实就是非常最近的事。我们并不真正理解原因。并不是说某一次大规模 pre-training（预训练）让它发生了那么大的变化，尽管大规模 pre-training 也确实来了；但当我们从 RNNs 转向 transformers 时，很容易把这种变化归因到这一点上。可现在我的感觉是，后来出现了 reasoning，这显然很重要，Narel。不过去年冬天或者说上一个 Christmas 发生的变化，就有点难以准确说清到底是由什么导致的。

我的意思是，harness 变了，再加上一些很小的 post-training（后训练）改动，然后新的 pretrained models（预训练模型）也出现了，当然，这些都让事情变得更好了。但是它给人的感觉像是一次很大的跃升，可又没那么容易准确指出到底是什么带来了这种变化。所以这件事多少有点混乱。对吧？我们一直都在不断改进所有东西。

但随后，因为它确实有效，而且感觉又如此重要，于是也就产生了一个必要性：把它带给更多人，让它在各处都能工作，并去推广它。竞争也在发生。我觉得在这一切之中，人们其实还没有真正来得及去思考：你到底要如何在这个 meta level（元层面）上做这件事？人们开始在想了，但同时它也会给人一种感觉：meta level 好像是那种你研究一周，得到一些模式，然后开始应用它们的东西；可这又让人感觉，这种东西其实需要花上好几周。我们当前的 reinforcement learning（强化学习）方法，不幸的是，基本上需要在这上面跑完所有 rollouts（展开轨迹）。如果你的 rollouts 一跑就是几周，那么训练就会变成几个月长，这一切就会显得有点不切实际。这或许可以被看作一个论据：在 post-transformer（后 Transformer）时代，human side（人类这一侧）可能有一些东西值得学习，因为很明显，人类可以花上数年做研究，而且他们一生中可能也就这样做一次或两次。

有些数学家会在一个问题上花二十年，那就是他们的 magnum opus（代表作），然后也就到此为止了。所以，他们在此之前并没有做过 200 个各花二十年的问题来从中学习，但他们 somehow 还是能做到。这是怎么运作的？这是个非常迷人的问题。很显然，我们还没有把这件事搞明白，而它与这里讨论的内容是有一定相关性的。

但另一方面，现在既然已经有很多人在做这个，我们会收集到大量这种持续数周到数月的人类相关数据。总会有人去跑这个 RL（强化学习），而结果也可能就是——它确实能把你再往前推进一些。是的，更进一步。

所以，这真是个特别有意思的点，因为基本上，就像你说的，当人们在扩展 pretraining（预训练）时，或者在扩展最初那类 reasoning models（推理模型）时，你大致是清楚的——或者至少是说得通的——知道自己是在沿着哪个 vector（方向）去扩展。然后，像我们这次在 Christmas 期间在 codex 和 clogged code 上看到的这种重大进展，它的来源你其实并不真正清楚，或者说你并没有完全看得非常透彻；这样一来，就很难判断接下来到底应该推动什么，才能继续提升这些能力。

对，是有一点让人困惑。但我的意思是，我不知道并不代表没人知道。我想，也许有些人对到底是什么把它推进过去这件事有更强烈的看法；只是我觉得，就现阶段而言，这还没有那么清楚。是的。它——我的意思是，另外一点是——它已经持续改善了一段时间了，但确实发生了某件事。

是的。因为，是的，之前感觉这件事根本做不到，而现在看起来可以了。在这种——

——当前的 scaling regime（扩展范式）下，在 RL（强化学习）这一侧，我觉得很多人都有一个问题：我们已经看到，显然，coding（编程）方面有大量提升，math（数学）以及这类可验证的 domain（领域）也一样。我感觉围绕 RL 的两个大问题仍然是：第一，在 nonverifiable（不可验证）这一侧，它到底会有多好用？第二，我们究竟能在多大程度上获得 generalization（泛化），而不必在每一个空间里都持续投入海量数据。也许我们可以一个一个来谈。但先从第一个开始，你怎么看 nonverifiable domain 这边需要解决的问题？以及，你是否对除了 code 和 math 之外，接下来可能推进到哪些领域，有一些初步判断？

我确实认为，在 nonverifiable（不可验证）这一侧已经有了相当不错的进展。比如说，如果你看 Harvey 和 Law，或者医学里的事情，它们并不是可验证的，但其中有很多部分其实是可验证的。对吧？所以在这方面已经有了不错的进展。而且我觉得——我的意思是，GDP value 是一个 benchmark（基准）——对。

从某种意义上说，benchmarks（基准测试）之类的东西也在做这件事。而且我确实认为，在这些领域已经有非常好的进展，也有很强的激励去推动进展。我不确定把它们称为“不可验证”是否完全公平。

它们当然没有像 coding 和 math 那样被设置得那么完美，对吧？

它们确实不是 coding 和 math，对吧？但我觉得，人们有点夸大了 math 的可验证性。比如说，coding 在某种意义上确实比较容易验证，像 programming competitions 就是可验证的。对。

但一旦到了 front end coding 之类的东西，它其实也没那么容易验证。不过 math 也是，proofs 并没有那么简单或干净。我的意思是，你可以用 Lean，但大多数 math，至少从 GPTs 产出的这些来看，并没有被 formalized（形式化），所以也没那么可验证。所以这是一个 spectrum（光谱），然后事情会变得越来越不可验证。我之前有个 pet project，就是把诗歌翻译成 Polish，这看起来就相当不可验证。但你也可以让这些 models 充当 verifiers（验证器），然后你会发现，它们其实能抓住不少东西。

它们能抓到 rhyme（押韵）之类的东西，也能识别 cultural references（文化典故）。所以结果是，一旦你去看人们以前是怎么验证这些东西的，你就能把事情推进到某种程度的 verifiability（可验证性）。但我的意思是，我觉得这个 poetry 的例子，以及它本来想说明的点，也在于：你可以验证很多东西，但仍然可能完全没有 taste（审美）。而这一点——因为它不可验证——就没那么容易处理。你知道，如果它能很容易用语言描述出来，

对，那它就会是可验证的。

但这并不意味着它不存在，对吧？你读到这些东西时，你的大脑里确实会有某种反应，强化这样一种想法：它们就是缺了点什么。你知道，我们其实是几乎故意把自己逼进了这个坑里，因为 reinforcement learning（强化学习）是什么？它告诉你，只要有一个 teacher、一个 validator（验证者）、一个会告诉你这好、那不好的角色，我就可以针对它训练，然后我就会变强。

而 models 做的正是这个。所以你知道，每当我站出来说，你看，我觉得这东西在某方面做得不够有 tastefully（品味/审美感），就会有人说，好，那你证明给我看，然后它往往就能做得非常到位。我觉得有些人甚至在做基本上类似这样的 runs（实验轮次）：比如在 image generation 里，你可以直接问，这张图美不美？好。

不可验证。但你基本上只是让一群人在训练过程中不断点击“这个很美”“这个完成得好”，结果果不其然，图像就开始变得更漂亮了。所以所谓可验证性这件事其实是很弱的。

对吧？你能得到的其实只是一个非常稀疏的信号：你可以问人们，这个好吗？这个不好吗？可接下来你就会发现，我们该怎么理解，比如说，为什么我会觉得这个东西不太有品位？对吧？

很明显，是我的一些经历，以及我处理这些经历的某种方式，让我会说出这样的判断。那为什么模型说不出来呢？有两种可能。一种是它还没有见过足够多能让它形成这种判断的经验；另一种是它没有用正确的方式去处理这些经验。其实这两点我都相信。不过即便在它现有的处理方式下，如果你只是给它更多经验，让一千个人去告诉它，那它也会变得更好。

所以，你现有的每一个漏洞，某种程度上都可以靠反复硬砸的方式把它补上。但如果根本不用这么做，那该有多好，对吧？因为每补上一个漏洞，它就不再是瓶颈了，接着冒出来的新瓶颈，又会变成那些你还没有补上的漏洞。于是我们就陷在这样一个很有意思的循环里。

但如果我们有一种这样的方法，一种像大脑一样的方法，不会有这么多需要去补的漏洞，那不是很好吗？

这是否有点意味着，在当前这些 architecture（架构）下，只要有人愿意专注去做，任何问题区域其实都能被解决？只是按你的说法，这大概率会需要更多精心策划的数据（curated data），也会更加依赖人工，而不是说，未来可能会出现一种更优美的做法。但并不是说会有某一类问题、或者某一些领域，会让你觉得，天啊，在当前的 RL（强化学习）方法下，这对模型来说会难到做不了。