OpenAI's Yann Dubois: Why AI Progress Suddenly Feels Real

你必须达到这种可靠性水平，才能真正让这些 AI 工具变得非常有用，而我认为我们大概在去年 12 月跨过了这条线，至少在 OpenAI 是这样。现在我们可以信任这些模型去完成我们正在做的大量工作。过去几个月相当疯狂。我们已经从那种竞赛式推进转向了对用户真正有用，而这正是我们当下的感受。我认为大多数时候，Bionic 才是最后一公里。

在不同的垂直领域（verticals）里，这个“最后一公里”始终都会留下很大的发挥空间。我也会非常鼓励大家继续在这方面努力。

大家好，我是 Matt Turk。欢迎来到 MAD Podcast。今天的嘉宾是 Jan Dubois，他共同领导 OpenAI 的 post training Frontiers 团队。最近发布的 GBT 5.5 是 AI 领域又一个重要的里程碑，Jan 的团队参与打造了它，也参与了 OpenAI 之前一些顶尖推理模型的构建，包括 o three 和 GBT five thinking。在加入 OpenAI 之前，Jan 在 Stanford 工作，他在那里共同发表了 Stanford Alpaca——这个里程碑式项目开启了现代 post training 研究社区的很大一部分。

在这次对话中，我们会深入讨论 GPT 5.5 到底有哪些真正的新东西，为什么 reinforcement learning（强化学习）正在从数学和编程竞赛走向混乱的现实世界工作，为什么 AI 的进步会让人感觉像突然出现的阶跃函数，以及为什么在 ChatGPT 发布三年之后，continual learning（持续学习）仍然是 AI 中尚未解决的大问题之一。请大家欣赏这场与 Jan Dubois 的精彩对话。嘿，Jan，欢迎。

你好，Matt。谢谢邀请我来。

随着 GBT 5.5 和 Claude Muthos preview 的发布，Frontier AI 领域过去几周再次变得非常疯狂。所以感觉上，好像我们又解锁了一个新的进步阶跃，尤其是在 cybersecurity（网络安全）和 agent decoding 方面。从你的视角来看，理解这件事的最佳方式是什么？事情是在加速吗？到底发生了什么？

是的，过去几个月确实非常疯狂。我们内部也真切感受到了这一点，而且我认为，任何和从事工作的人合作的人——基本上，任何在写代码的人——现在都非常能感受到这一点。我觉得这主要有三个原因。第一个是，尽管在我看来，进展其实是相当连续的，但你必须达到这种可靠性水平，才能真正让这些 AI 工具变得非常有用，而我认为我们大概在去年 12 月跨过了这条线，至少在 OpenAI 是这样。

那就是我认为我们真正跨过那个门槛的时候——现在我们可以信任这些模型去完成我们正在做的大量工作。所以它给人的感觉像是一个阶跃函数，尽管我认为，从能力角度来说，它其实是相当连续的。这是第一点。第二个原因是，一旦你开始拥有真正优秀的模型，你就会加速你自己，尤其是在 coding 方面，因为我们内部所有人都会写代码。你会以两种方式加速自己：一是让这些模型去训练其他模型，二是让它们构建我们作为研究人员开展工作所需要的工具。

我认为，这一切加速都意味着，过去这几个月我们看到事情进展得越来越快。第三点是，我觉得我们切身感受到的是，去年一整年，我们确实构建了这些 reasoning models（推理模型），也确实在 reinforcement learning（强化学习）上投入了很多。最初，当我们有像 “one”、“one preview”，甚至 “three” 这些模型时，它们仍然是针对我们所说的 verifiable rewards（可验证奖励）来优化的，也就是那些我们实际能够获得 ground truth（真实答案）的任务。判断对错很容易测试。比如，math questions（数学题）或 coding competitions（编程竞赛）就是这种情况。

而我认为我们现在正在意识到的是，我们已经能够把为这些 verifiable reward（可验证奖励）场景构建的许多工具，较为普遍地用于真实用例上的 reinforcement learning（强化学习）。而我觉得，这也正是为什么我们现在会在真实世界的 coding（编程）中，而不是在竞赛环境里，如此强烈地感受到这种变化。所以我们是从 competitions（竞赛）走向了对用户有用性，而这正是我们当下所感受到的。

好的，很有意思。所以我们接下来会把这些内容一一展开，尤其是 RL（强化学习）这一侧。先说你提到的第一点，reliability（可靠性），这是 engineering（工程）问题吗？还是 models（模型）问题？

也就是说，按你刚才的意思，一个模型为什么会是 reliable（可靠）的？

其实两方面都有一点。但总体来说，既然这些是 agentic models（agent 型模型），如果你把它简单理解为：每过两分钟，它就有一定概率出错，那么它运行得越久，最终答案出错的概率就越高。所以这是 agentic models（agent 型模型）本身固有的一个问题。而我们一直在大力推进的，就是确保把这种“每两分钟出错一次”的概率降下来。

所以，单从模型角度来看，当然，很多 reliability（可靠性）相关的工作也发生在 applied side（应用侧），而 OpenAI 的团队在这方面做得非常出色。但我这里甚至只是在谈我们模型本身的可靠性，也就是确保我们能把出错概率实质性地降下来。

很好。所以 5.5，也就是之前叫 Spud 的那个模型，正如前面提到的，是件大事。它现在也是件大事。我只是很好奇，从你们内部来看，你们最自豪的是什么？你们觉得最有挑战的又是什么？

也跟我们多讲一点你们在发布它时的真实感受。

说实话，我们都对 5.5 真的非常兴奋。它属于那种公司里几乎所有人都深度参与构建的模型，我觉得我们现在确实能感受到这一点。也就是说，5.5 给我们带来了很多关注，看起来就像一切时机都刚刚好。这样的情况并不总会发生，而这次它恰好就是一个非常出色的模型。所以我们确实有这种感受。

这其实挺有意思的，因为一般来说，每当一个模型在早期看起来非常不错时，我们都会有一个模型出现，大家先是非常兴奋，然后就会冒出大量怀疑，因为会觉得，哦，大家在内部把这东西炒得很热，但它其实在很多别的方面表现并不好；接着又会出现另一波情绪，人们开始反过来低估它。整个过程会一波一波地起伏。而我们最终什么时候 ship（发布）它，也会影响内部的人当时对它的感受。不过我们大多数模型基本都会经历这个过程。所以 5.5 在这点上并没有特别不同，只不过它的波动幅度可能确实更大一些。也就是说，人们先是非常兴奋，然后又没那么兴奋，最后我们把它发布了，而外部的反馈是大家都很满意。

这个过程一般要多久？我是说，包括这种兴奋情绪上下波动的过程。我猜这取决于具体的 release（发布）以及每次发布的重要程度，但大概是几周，还是几个月？

这确实要看情况。所以我不能具体谈 5.5 到底经历了什么，但这在某种程度上取决于 pipeline（流程）里的哪一部分在训练模型的哪些部分。我们内部确实有不同的子团队，包括 pre-training（预训练）、mid-training（中期训练）阶段，以及 post-training（后训练）。通常来说，越接近产品端，比如 post-training 这种最后一环，迭代周期就越快；越是上游，迭代周期就越慢。所以整体上讲，时间跨度基本可能从几个月到几天不等。

5.5 在 agent decoding、computer use、knowledge work，以及早期 scientific research 方面尤其强。这在内部是怎么实现的？是不是不同的人分别专注于这些不同部分？你们是怎么得到这个结果的？

对，我们确实有不同的团队在针对特定 use case（使用场景）工作，并持续推进这些 use case。具体来说，我的团队其实更像是把这些纵向能力提升汇总起来，再尝试把它们整合进最终模型的团队。你可以把它理解为同时承担某种“平滑函数”的角色：你有很多改进成果，但你需要确保模型不会显得过于尖刺化，不会在不同 vertical（垂直领域）之间呈现出明显不同的体验。

此外，你还需要一些团队去做那些横向改进，而这基本上就是我团队在做的事。这里面有很多内容，比如 instruction following（指令遵循）、function calling（函数调用），或者思考模型在不同问题上应该“思考”多少。这些都非常 horizontal（横向），而且会影响到所有这些 use case。所以我们既有更偏 vertical 的团队，也有更偏 horizontal 的团队，而这两类团队对于改进模型都非常重要。好的一点是，这些方面基本上可以相对正交地改进。

所以你可能会有多个不同团队分别在做某些 vertical，而对于某一个模型来说，也许这些团队里只有一半在最后一轮真正完成了 integration（集成），从而提升了模型在这些能力上的表现；到了下一个模型，也许起作用的就是另一半。这大致就是它在高层面上的运作方式。还有一点我想说，因为你也问到了这个模型有哪些让我们特别自豪的地方，我会说有两点。第一点是模型的效率。我们确实、确实把模型效率提升了很多，而且用这个模型，现在大多数任务基本上都可以做到大约快 2X。

所以这很棒。另一个我之前已经提到过的点，是公司的这种对齐（alignment），要确保每个人都朝着同一个目标努力。而这确实需要整个公司都围绕着这样一个北极星（north star）来工作：在特定时间线内做出一个好的模型。我对这件事最终是如何实现的，感到非常、非常自豪。

很好。那说到效率，你们是怎么优化这个指标的？我们谈的是每个 token 的效率。那我们也在谈模型服务时的延迟（latency）吗？AI 研究和工程各自负责的是哪一部分？

所以，这就是我说“这是整个公司的事情”时的意思：它真的来自各个方面。它必须来自推理（inference）优化，也必须来自模型本身，让它在“思考时间”上更高效。所以基本上，你每多思考一个 token，通常你应该看的那张图就是：x 轴是你用于思考的 token 数量，y 轴是性能。

所以这就是我们看的那些测试时扩展（test time scaling）曲线。研究的工作，本质上是在把这条曲线往左移——也就是思考得更少，但达到同样甚至更高的正确性。而推理（inference）也处理这个 x 轴，只不过它会把“token 数量”转换成实际延迟（latency）。最终大家真正关心的是：x 轴是延迟，y 轴是性能，而这正是一切汇合到一起的地方，这也正是 5.5 身上真正发生的事。所以，是的，这就是为什么我总说，我对公司在这件事上的表现真的非常自豪。

好的，很好。那我们来聊聊你本人一分钟。你所在的是 post training frontiers team。你把这个团队描述为一个 horizontal（横向）团队。

这个团队总体上是做什么的？

是的。我会说我们做三件事。从更宏观的角度来说，我们属于 post training org，而我的团队是其中的 post training frontiers team。所以，我的团队做三件事。第一件事是，我们会决定哪些内容进入最终的 run（训练运行）。

就像我们之前谈到的，有很多 verticals（纵向方向），而必须有人来决定什么可以放进去、什么不能放进去，同时还要为大家提供科学实验，让他们可以在某个能够代表最终 run 的对象上进行迭代。这是我团队做的第一件事。第二件事是把所有东西整合起来，并且真正执行那次大型 run。正如你可以想象的，我们会在相当数量的 GPUs 上训练，所以这里既需要大量 infra（基础设施）工作，也需要大量 ML（机器学习）工作，把所有东西拼在一起，并确保它们能够很好地协同工作。然后，我团队做的第三件事，是对模型进行横向改进。

基本上，有些事情这些垂直场景通常不会太多关注。比如我之前说过的思考时间。也就是模型在某些回答上应该思考多久？或者 instruction following（指令遵循）、function calling（函数调用）、memory（记忆）这类东西，以及那些真正贯穿整个技术栈的通用模型改进。所以这就是 Pushing Frontiers team 在做的事，我在带这个团队。

好的，很棒。那么，你是怎么来到 OpenAI 的？

哦，这是个很长的故事，不过我尽量说得很短。基本上，我在 Switzerland 读的是 biomedical engineering（生物医学工程）本科，我来自 Switzerland。后来我赢得了一次去 Canada 的交换机会，并在那里了解到 word2vec。我不知道你有没有听过这个算法，但它基本上是把词语——也就是某种离散的东西——放进一个 vector space（向量空间）里。

所以，它相当于把词放进一个平面里来理解：如果词语彼此更相似，它们之间的距离就会更近。也就是说，它把这些离散的词带入某种在语义上有意义的连续空间。这个算法当时让我震撼不已。也正是在那时，我决定自己想做 natural language processing（自然语言处理），想研究语言理解。那时候我的判断其实非常错，但我当时以为 English NLP 基本已经解决了，至少也接近解决了。

那是在 2017 年。所以那正好是 Transformers 刚开始的时候，甚至其实还是在 Transformers 之前。所以我当时非常错，但我还是决定要去做那些研究不足的语言。基本上，我想提升那些数据并不多的语言上的 NLP。于是我去了 Singapore 的 Grab 工作，基本上是在为他们搭建 natural language processing pipeline（自然语言处理流水线），处理 Khmer、Bahasa、Thai、Vietnamese，以及各种不同的语言。

然后我稍微跳过一点。后来我又在不同国家做了一些更偏学术类型的工作，最后去了 Stanford，在那里读了 PhD。再之后，我短暂做过一段 startup 相关的工作，然后就去了 OpenA。

是的。我记得我在你的 blog 或个人页面上看到过一条说明，说让 quant firms 不要联系你，因为你对 hedge fund 相关工作不感兴趣。

对。我一直觉得，对我来说，思考自己正在给这个世界带来什么样的积极影响，或者至少思考自己试图带来什么样的积极影响，是非常重要的。对。所以这就是我会写下那个想法的原因。

对。就像我们在开始录制前刚刚说的那样，大家可能已经在 GBT five 的视频发布公告里见过你了；你当时做了一个特别有趣的演示：现场临时搭了一个 app，用来教你的伴侣说法语。所以，大家应该去看看那个。

没错。那个很有意思，真的很有意思。GPT five 当时其实没那么可靠，我还有点紧张，怕它跑不起来，不过最后还是成功了。

所以那次确实是真正的 live（现场），而且——

好吧。它确实是——

经过了很多排练，但也确实是真正的 live（现场）。

实际上，就在我们上场前、最后一次 rehearsal（彩排）的时候，它是没成功的。所以我当时有点紧张，不过，嗯，最后真正 live（现场）的时候效果还是很好。

对。完全没有压力啊。不过，那个效果确实落得非常漂亮。好，太酷了。

好，那我们来聊聊我们在开场时提到的一些事情。我们其实已经开始谈 reasoning（推理）了，我很好奇，到了 2026 年，reasoning 到底意味着什么，和我们当年讨论 one 或 three 时相比，有什么不同。尤其是，关于 5.5 的一个说法——也是我作为用户的实际体验——是它在处理 messy data（杂乱数据）方面特别强，这似乎意味着它需要更多地在模糊性中进行推理。到底发生了什么变化？

我想说的是，o one 和 o one preview 在研究社区里确实是非常非常重大的突破，因为它们让我们看到了模型可以“思考”，而且它们思考得越久，答对的概率通常就越高。所以那的确是一个突破。但在最初，如果你去看以前的 blog posts，看到的大多会是数学评测，也可能是编程竞赛这类任务——也就是那些非常容易检验对错的事情。这其实也能在某种程度上反映出我们当时是如何训练其中一些模型的。而我对去年，尤其是去年年底到今年年初这段时间的理解是：我们已经能够把这些原本适用于 verified rewards（可验证奖励）、也就是我们可以明确判断“你对了还是错了”的算法，带到混乱得多的现实世界中，真正去优化我们为用户提供的 utility（效用），比如让他们更高效、更有生产力。我认为这才是真正发生变化的地方。

好的。所以主要是 post-training（后训练）里的 reinforcement learning（强化学习）这部分在起作用？

对。我会说这当然是其中一个很大的部分——不过还有另一个重要部分。第一点是，当你开发一种新方法时，这种方法一开始通常比较脆弱，可靠性也没那么高，基本上很难真正 productionize（投入生产环境），所以这方面后来也改进了很多。但同时更关键的是，我们手上有了一个可以开始针对不同目标去优化的工具。最开始开发这个工具时，我们其实对现实世界做了很多简化假设。现在我们正在移除这些简化假设，至少在 post-training（后训练）阶段，我们已经能够真正去优化 user utility（用户效用），并确保这些模型是有用的，而且我们所关注的任务本身也确实有用。这也是为什么现在的 evals（评测）看起来现实得多。

我的意思是，如果你想想 g t p val，或者哪怕看看像 three bench pro 或 three bench 这样的东西，它们看起来都要比我们当时用 r one 去看的那些 code force 或编程竞赛之类的任务现实得多。

嗯，嗯。还是继续说 reasoning（推理）这个话题，5.5 thinking 和 5.5 pro 到底最终有什么区别？是不是就只是投入了更多 test-time compute（测试时算力）、更多 token，以及更多解题时间？

对，基本上就是这个问题：我们往模型里，或者更准确地说，往我们正在交付的整个 system（系统）里，投入多少 test-time compute（测试时算力）。我们一次又一次看到，模型思考得越久，得到的答案通常就越好。问题在于，我们这里谈的这些曲线显然不是线性的，会有某种平台效应，从某种意义上看它们有点像对数曲线，当然也要看具体是哪种 eval（评测）。所以你可能多投入两倍 compute（算力），最后实际上只得到一点点性能提升。

我个人其实不怎么用 Pro，因为我真的很不喜欢等待——我挺没耐心的，所以不喜欢等那么久。而且我也知道，它答对的概率确实会提高，但还没有高到足以让我去用它。不过确实有一些人会用 Pro，而且非常喜欢它，尤其是在 academic research（学术研究）里。特别是我知道有很多数学家在用它，因为他们基本上可以把它放在后台跑上一两个小时，而不太需要和模型进行非常快速的迭代。对于这种场景，Pro 就非常合适。

我想把这点和你前面提到的 per-token（每个 token）效率联系起来理解。所以你的意思是，模型既可以思考更久，同时也可以更高效，因此把任务完成得更好吗？也就是说，这里面“时间”这个维度和“效率”这个维度，二者之间究竟是怎么相互作用的？

是的。所以如果回到我刚才提到、我当时在想的那张图，横轴是 latency（延迟），纵轴是 performance（性能），那么当我们说不断提升 efficiency（效率）时，本质上是在把这条曲线不断向左移动，也就是我们变得更高效了，或者说，我们花更少的时间就能达到同样的性能。而 Pro 所做的，是把这条曲线向外延展。也就是说，它会“思考”更久，但它得出正确答案的概率也会更高。不过，pro model 的每一次迭代也都会把曲线继续向左推，所以它同样也会变得越来越高效。重要的是，总会存在一些任务，在这些任务里你只想尽可能最大化正确率，而根本不在乎 latency。比如说，如果我在睡觉前启动一个任务，我的意思是，model 有整整八个小时。

就像，它应该能想多久就想多久。而这某种程度上就是 ProBook 提供给你的东西。

那么，用外行能懂的话来说，这在实际中到底意味着什么？或者说，实际运作起来是怎样的？如果 model 走错了方向，它会更早地打断自己吗？这是其中一个维度吗？

好的，关于 efficiency 这块。这里其实有两件事。你是在问 efficiency 吗？它到底是什么意思？

对，问的就是 efficiency。对，对，对。

是的，主要是关于 efficiency。我只是好奇，reasoning（推理）是怎么变得更强的。

是的，这是个好问题。我可以用人类作个比喻。你找一个在某个领域里的 expert（专家），再把他和一个刚进入这个领域的 undergrad（本科生）相比。那个 undergrad 去做这项任务时，很可能要花一天、两天，还得把很多种可能性都想一遍、调查一遍，因为他以前没做过这类问题；而一个在那个领域里的 expert，通常会直接知道该往哪个方向走，也不会花时间去研究 10 个不同方向，因为他知道其中有一个方向更可能是正确的。所以，这就是我们所说的那种 efficiency。

本质上，这类 model 更多是围绕 real world problems（现实世界问题）做了优化。因此，它某种程度上被训练成了能以更高概率判断出哪些 reasoning paths（推理路径）更可能是正确的。这是一部分 efficiency。还有一部分就是你刚才提到的：model 知道自己什么时候走上了错误的路径。不过，这同样也是我们可以、也是 model 可以通过 reinforcement learning（强化学习）来训练获得的能力。

这就像是知道，嗯，这条路看起来不太好。那我就回退一下，去测试别的东西。如果你对模型训练得更少，它可能要到更晚才会意识到自己走错了路。

好，明白了。所以看起来这里很多东西都要回到 reinforcement learning（强化学习）和 post training（后训练）。那我们来谈谈现代 AI 系统的不同组成部分是如何工作的。我们来说说 pre training（预训练）、mid training（中期训练），然后是 post training，并且在 post training 上多花一些时间，因为它非常重要。

先从 pre training 的高层面开始，同时也考虑到你可能未必能谈太多关于这些事情具体是怎么做的，或者 5.5 这个特定背景下到底发生了什么。去年的一个主流叙事是，pre training 已经撞墙了，不会再带来太多进展。但到了 2026 年，这看起来完全不是事实。你能不能给我们梳理一下，pre training 里到底发生了什么，为什么它现在还能继续推进，而且是以一种去年大家没有预料到的方式在进步？

关于 pre training，我不能非常详细地谈内部到底在发生什么。除此之外，团队确实一直在做很多很好的工作，我们的模型也确实在变得越来越好。比如说，在讨论 efficiency（效率）时，我想强调一点：如果你有更大的模型，它所需要的 thinking time（思考时间），也就是它在思考时会用掉的 tokens，通常会减少。你可以这样理解：打个比方，模型在生成某个 token 时，其实已经通过它的 weights 在“思考”了，所以通过增大你训练的模型规模，你就可以减少它为了思考而需要生成的 tokens 数量。很多时候，如果你只是增大模型规模，也就是预训练更大的模型，你会获得更好的效率；而且更大模型的好处是，它们在 inference（推理）时通常也能被更好地并行化。

所以尽管你可能会觉得，确实，生成的 tokens 更少了，但模型更大了，因此系统整体效率可能反而下降。事实并非如此，因为模型越大，你越有机会真正把 inference 在 GPUs 上优化到更高效，所以你实际上能够让整个系统变得更高效。这就是我想说的一点：更大的模型其实会带来很多效率收益。除此之外，就 pre training 而言，我觉得这件事非常有意思。其实我自己大概两年前也觉得 pre training 有点撞墙了；而且比如说，如果我们只谈 Entropic，我是说，Mythos 从成本上看显然就是一个大得多的模型。

模型的成本，通常这也是你判断的方法之一。顺便说一句，是不是更大的模型，你只要看每个 token 的成本就知道了。而他们显然只是通过增大模型规模，就拿到了非常好的表现。所以我认为这个领域里，至少其中一部分人，对此是感到惊讶的。之前有很多关于撞上 data wall（数据墙）的讨论，但看起来我们并没有真正撞上它。

所以模型越大，训练时就需要摄取越多数据。而看起来，不同公司某种程度上都找到了不同的方法，来克服这样一个事实：互联网上并没有那么多可用数据。

数据的下一个前沿，或者说当前的前沿，是 multimodal data（多模态数据）吗？还是 synthetic data（合成数据）？

我认为 synthetic data（合成数据）在数据受限的场景里很可能会表现很好。我觉得 multimodal（多模态）是个很有意思的方向。我当然不能谈我们内部在做什么，但我以前做过 multimodal representation learning（多模态表征学习），而且我一直觉得，如果你拥有大量 multimodal data（多模态数据），它会非常有助于提升推理能力。我现在仍然这么认为，但例如，如果你看 entropic models，它们在 multimodal 上往往并没有那么强，但依然非常聪明。所以看起来，至少没有我过去以为的那么必要。

我仍然相信，一旦我们走向 embodied agents（具身 agent）、embodied AI（具身 AI），你就会学到很多关于世界的东西，而且通过学习世界如何与自身交互，你会在 general intelligence（通用智能）和对用户的实用性上得到提升。但至少从一些例子来看，比如 traffic models，似乎它们并不需要那么多 multimodal data，也能成为很强的模型。

你说的 embodied intelligence，意思就是也可能包括 robotics。也就是说，如果你使用一段 video，展示重力如何运作，以及一个机器人如何在空间中运动，那么按理说这会更有用。你的意思是这样吗？

是的。我认为很多人都曾有过、而且我自己也长期相信的一种想法或直觉是：仅仅通过 text，很难理解这个世界。而且，很多东西确实很难只靠文字去理解，比如如果你不真正看到物体下落，就很难理解 gravity。可当你看我们的模型时，我的意思是，它们某种程度上在没见过这些的情况下也理解了 gravity，但这件事仍然并不显然。也就是说，感觉它们本来应该还能理解得更多，而且它们现在仍然缺少一些 common sense（常识）层面的东西。所以我确实觉得，让模型在真实世界中进行交互，会提升它们的 common sense。但我认为我们离那一步还很远。

我说的“我们”，指的是更广义上的 academic community 和 AI community；看起来大家距离那个目标都还相当远。

对了，既然说到这个话题，稍微岔开一下，这也会把我们带到 world models（世界模型）这个概念。先不站在 OpenAI 的立场上，你看好 world models 吗？

如果这里说的 world models，是指你可以尝试去复制或模拟事物，基本上在一个被模拟出来的 environment（环境）里工作，那么是的，我看好。问题在于，simulations（模拟）总是会非常困难，而且不可能完全真实。所以我认为，始终都需要有一定程度、哪怕只是一点点、发生在真实世界中的训练，以确保模型能够意识到 simulated world 和 real world 之间的这些不匹配。我还觉得，我们这个领域有一种倾向，就是把一个模拟出来的、或者不那么真实的东西优化到超过它真正有用的程度。这是我认为我们必须始终小心的事情：我们会花大量时间和精力去优化一个模拟的、并不完全真实的对象，起初这当然很好，但到了某个节点，一旦你对某样东西优化过头了，它就不再能代表真实世界；可人们还是会继续这么做，只因为他们已经这么做了很长时间。

所以我只是觉得，人们需要知道什么时候该停下来。我自己并没有那么多地接触这类 synthetic environments（合成环境），只是因为我并不做 embodied AI。所以我也不确定我们之前是否已经谈到过这一点。

好。很好。好，那回到 pretraining、mid training、post training。我们来聊聊 mid training。

这可能是大家相对较少听到的一件事，这个术语出现得也没那么频繁。它到底是什么，为什么重要？

Mid training 的意思其实就是：它处在 pre training 和——从名字你也能听出来——pipeline（流程）里的 post training 之间。核心想法是，如果你有高质量数据，而且这些数据更能代表你最终希望模型具备的能力，那你就应该在这些数据上进行过采样式训练、更多地训练。退一步说，pre training 是什么？Pre training 本质上是在一个很高的层面上，通过学习 Internet 上的一切，来尽可能学习这个世界上的一切。问题在于，Internet 上的大多数东西其实并没有那么有用。

比如说，如果你想想 Wikipedia，或者 GitHub 这类 coding data（代码数据），会觉得里面的信息显然比一些随机论坛多得多。对，一些随机论坛可能并没有那么多信息量。再比如 ads（广告）。Internet 上也有大量广告。

这类内容你大概率并不想在训练时占太大比重。但在 pretraining 中，你是对一切都进行训练；而在 mid training 中，我们本质上就是给这类我们认为对最终模型训练更有用的高质量数据更高的权重。至于这里每个人具体在做什么，我不能展开讲，但可以说，这绝对是现在整个 academic community（学术界）都在做的事情，而且所有 open source models（开源模型）都有这个 mid training 阶段。

很好。说到 post training，我们先从高层面定义一下它是什么。这里面有 reinforcement learning（强化学习），但那并不是 post training 的全部。除此之外还有什么？