Ep 87: Gemini Co-Lead on World Models, RL's Next Domains & Continual Learning

Oriol Vinyals 与 Noam Shazir 和 Jeff Dean 一起担任 Gemini 的共同负责人。他在 AI 领域拥有极其出色的职业生涯，在过去十年里引领了 deep learning（深度学习）中的许多突破。Google IO 之后能和他坐下来聊一聊，真的非常有意思。如果你一直在关注 Google IO，就会知道他们基本上在 AI 的许多有趣应用层面上，一口气发布了大量产品。所以我和 Oriol 把这些都聊到了。我们谈了要让 multimodal models（多模态模型）继续取得进展，需要具备哪些条件；也谈了究竟什么会让这些 world models（世界模型）真正变得可用。

我们还谈到了 memory（记忆）的增长、记忆的重要性，以及未来几年这方面的进展会如何呈现得像 reasoning（推理）一样；也谈了 Oriol 认为接下来的前进路径是什么。我们还聊到了当下 scaffolding（脚手架式系统封装/编排）的现状、大家正在构建什么，以及 Oriol 认为什么东西会持续存在。能把 founders（创始人）和 investors（投资人）正在思考的那些核心问题，直接拿来请 Oriol 回答，真的非常过瘾。所以我觉得大家一定会很享受这场对话。闲话少说，下面请他出场。

Oriole，非常感谢你来到这档播客。

是的，很高兴来到这里。谢谢，Jacob。

是的，能在 IO 之后第二天请到你，真的非常令人兴奋。我知道这段时间你一定特别忙，但我一直都很期待这次对谈，因为以你在 Google 的工作来看，你绝对是当下最直接塑造模型前沿的人之一。而且很显然，在昨天 IO 上发布的那些内容里，几乎涵盖了这个领域里人们正在思考的所有主题——这些产品和模型将走向哪里。所以我觉得，我们今天的目标就是把这些公告背后的研究脉络梳理一遍，聊聊这一切将通向何处，聊聊 RL（强化学习）以及 post training（后训练）未来的发展路径，也请你谈谈你对整个领域的整体判断。

我想我会先从 world models（世界模型）聊起，因为我觉得那是昨天内容中非常令人印象深刻的一部分，而且我也认为这是 Google 与业内许多其他团队相比一个相当鲜明的不同点。所以，很显然你们昨天在 Omni 里发布了一个非常惊人的 world model。与此同时，我想 Demis 也一直在很多场合谈到，他把 world models 视为通往 AGI 的一条路径。这一点很有意思，对吧？

因为看起来，其他实验室也许更专注于 code（代码），以及如何走向 recursive self improvement（递归式自我改进）。所以我想问，这样概括是否公平；以及你为什么认为，你、你的团队以及 Google 会在某种程度上如此独特地聚焦于 world model 这个方向。

首先，我觉得 coding（编程）或者说 self improvement（自我改进）这个角度，其实处在一个稍微不同的层次上，对吧？所以你当然完全可以押注并相信，这些模型能够重新编写自己、提升自己；而这也正是我目前实际上在非常积极推进的事情。但接下来还有一个问题：它们所改进的那个对象——也就是模型本身——究竟是什么？它是 multimodal（多模态）的，还是更接近我们所说的 world model？甚至连如何定义它，本身都有一点抽象。从第一天起，甚至早在 Gemini 项目启动之前，我们就在做的不只是 language（语言），还包括理解视觉世界，以及在视觉、无声视频等等语境中，对词语进行联合建模。

所以我认为那一部分，你知道，一直都是 Gemini 以及在此之前我们研究工作的核心。我想，也许一种概括方式是：语言里显然包含了大量我们集体写下来的、关于这个世界的信息，所以这显然带来了巨大的回报。某种程度上，我们把已经写下的、以及此刻仍在被写下的所有知识，都蒸馏进了这些 weights（权重）里。

当然，我们还把这些内容全都放到了 Internet 上，这确实也很方便。

对。完全正确，对吧？所以，而且现在随着用户参与，显然也存在一种 flywheel effect（飞轮效应）。但与此同时，视频和图像里也包含着大量知识。

我会说这件事某种程度上其实已经发生了，但发生得比较温和；不过我觉得，可能还会有一个重大的时刻。那就是：如果你去看完所有视频和图像，你本可以从中获得的那些知识，要怎样才能被提取出来？当然，我们在 training mixtures（训练混合数据）中确实已经在使用这些内容。但这些知识能否以某种方式为语言部分带来额外价值和效率？我认为我们已经看到了建设性的、可以说是 transferred learning（迁移学习），也就是从一种模态到另一种模态的迁移。我们看到了这一点，也看到了 generalization（泛化）。但如果要说视频和图像领域真正属于它们的那种 GPT moment，我不确定我们是否真的已经见到了。

对于视频和图像的那个 GPT moment，你有没有什么想法？既然你有一种直觉，觉得那个时刻还没有到来，那它可能会是什么样子？

有的。所以目前，我们会训练所有 modalities（模态），把它们混合起来，并持续改进这套 recipe（方法配方）。Omni 就很好地体现了这种进展：我们不只是把视频和图像作为输入；我们在 long context（长上下文）、understanding（理解）等等方面，也已经拥有了非常惊人的能力。

但现在我们也能够输出视频，而且还能通过语言以非常自然的方式与之交互，对它进行编辑、组合，把各种 modalities（模态）结合起来，形成一种几乎近乎魔法的体验，对吧？所以这种进展是绝对存在的。但也许 deep learning（深度学习）长期以来的一个梦想——而且这可能是早在 large language models（大语言模型）出现之前就有的原始梦想——是：如果不依赖文本，纯粹把这当作一个高难度挑战，只用所有图像数据来训练，我是否仍然能够从那一种模态、或一组模态，以及海量数据中，提取出其中全部的意义和细微差别？

对吧？所以，我们能不能在有史以来产生的所有视频和图像上进行训练，并达到语言模型借助语言所达到的那种理解水平——虽然那种理解很可能也略显表层，而且在因果关系之类的问题上仍有一些缺失，这也是 Demis 经常谈到的，比如说这一点。对吧？所以，这才是那个真正的时刻。而我见到那个时刻了吗？大概还没有；而且很可能，我们现在已经拥有了最先进的、或者说最先进之一的 multimodal（多模态）recipe（方法配方），也就是把一切混合在一起的那套方法。

但我认为，那种纯粹的迁移，正是过去十多年里 machine learning 的核心追求之一。

我的意思是，在你可以谈论的范围内，我很好奇。你能不能给我们的听众一些背景，比如说，这件事周围仍然有哪些关键问题需要解决？或者说，当你思考你正在努力推进的这类问题时，你主要在攻克哪些类型的问题？

很难描述这个解决方案空间，但一个常被拿来举例的想法是：你可以想象，通过观察或学习所有视频数据，然后以某种方式推导出重力规则。对吧？比如，只基于图像，你怎么才能精确描述这个世界是如何运作的？对吧？这里的问题在于，要把语言，或者我们有时称之为 concepts（概念）的东西，和你在图像中看到的内容联系起来，如果没有显式的语言连接，这件事就相当棘手。

对吧？所以最终你会去做的，就是尝试显式构建一些 datasets（数据集），让图像和视频与某种语言之间存在某种相关性或连接，比如 labels（标签）或 descriptions（描述）之类的东西。当然，这样一来，你手头可用的数据量就会少得多，因为我们并没有把世界上每一份媒体内容都清楚地描述并转录出来。所以我觉得，如果能够以最纯粹的形式提取这些 concepts（概念）——而不只是通过我们赋予词语、以及看到的内容所关联的某种语言——那将会非常非常强大。围绕 discrete representations（离散表征）、representation learning（表征学习）已经有很多早期研究，而我想，这大概就是那种仍然相当处于 research stage（研究阶段）的方向之一。

所以这并不是我们可能真正大规模扩展的东西，但我认为这或许是其中一个——我也不确定它是否真的必需。我的意思是，我们是否同意这一点是另一回事，但如果它真的被解锁，影响将会非常巨大。

你提到了 world model 这个说法，以及它现在被反复使用；显然，Omni 在某种程度上就被定位成一个 world model。我很好奇，你是怎么理解这个分类的？毕竟你们之前已经有非常强的视频模型了，对吧？Omni 为什么算是一个 world model？它和你们一直在做的那一代视频模型相比，区别又是什么？

我想，world model 的一个更纯粹的方面会是 representation learning（表征学习）。对吧？你可以想象，我们拿这些模态，比如 videos（视频）——它本质上是一系列图像序列——甚至只是 images（图像），然后把它们压缩成某种 concepts（概念）的集合，以及其中那些运动、物体等等。这大致就叫 representation learning（表征学习）：它以一种非常紧凑的方式对世界建模，把那些可能并不相关的东西压缩掉。对吧？

所以，也许那一种更偏经典定义，但又可能并不完全等同于我们在与 Omni 交互时所说、所见、所感受到的东西。对吧？你在那里看到的，更多是你能够真正改变视频的行为方式，或者改变从一张初始图像——比如你要求它做动画化——所生成出来的视频类型。你可以显式指定各种运动，甚至是 actions（动作），比如向前移动，而你会看到这些东西被相当精确地模拟出来。所以更像是，这个 world model 本身在充当世界的 renderer（渲染器），而你几乎只通过语言就能真正去改变它。

而拥有这样一个对象，现在除了本身是个很好玩的产品、可以拿来体验之外，当然，我们也很喜欢生成各种不同的运动、情境等等，而且可以做得非常丰富。它还可能在有意义的层面上增加一种 simulation（模拟）维度，让我们能够在现实世界中采取行动之前，先使用例如 prediction（预测）这样的能力。当然，这类 3D 或 video world models（视频世界模型）的明显应用，显然会包括 self-driving cars（自动驾驶汽车）或者 robotics（机器人）。

这看起来和 robotics 非常相关，而且感觉现在大家都还在试图弄清楚正确的数据配比：simulation data（模拟数据）相对于 teleop data（遥操作数据）以及 egocentric video data（第一视角视频数据）到底该怎么混合。但看起来，随着这些 simulation 持续变得更好，它越来越像是应该被纳入数据组合中的一项非常有吸引力的东西。我也很好奇，这项工作是否会直接和你们正在做的更广泛的 robotics 工作发生交叉？以及你们如何看待：如果要把 robotic actions（机器人动作）附加到这类模型上，实际还需要什么？

这里也有一种有点美妙的联系，因为当然，如果我们获取更多由机器人采集的数据——即使这显然更昂贵、也更耗时，但这确实是我们正在投入的方向——那么这些数据就可以进入模型，从而增强 world model 本身的能力。反过来，另一条方向，也许正是你在问的，就是：好，现在我们可以做 simulation 了，我们就能创建大量不同的场景，让这些机器人，或者任何 1D、3D 群体等等，在其中进行训练，而不需要承担物理世界中的成本和时间延迟。对吧？不过要让后者更好地发挥作用，这仍然是一个非常开放的问题。

另外还有各种 transfer（迁移）方面的问题，但这些模型越强大，显然就越会接近某个拐点，在那个点上，很多事情开始变得值得去做，而我们也确实可能会看到 robotics 的加速发展。硬件领域显然已经出现了大量投资，所以那边的进展正在加速、正在升温。但是，如果 world models 要真正有用——至少以我有限的了解来看，当然，我也确实有机会和这些系统互动并观察它们——哪怕只是 grasping（抓取）这种能力，它所要求的精度都非常高，而这对人类来说几乎是想当然的事。包括视觉上的细节、物体到底会给你的手带来什么感觉——而这种 modality（模态）显然是我们目前甚至还没有数据的——以及精确的受力、物体会如何移动，这一切都需要非常、非常准确。对吧？所以这里就存在一个差距，而这也意味着，可能仍然需要一些创造力和研究，以及未来多年在 robotics 上的大量投资。

但这件事是很有前景的。某种程度上，也许不是在最精确的 motor control（运动控制）层面，而是在 planning（规划）和较粗粒度的层面上，我们将开始看到这些模型如何加速我们在 robotics 追求上的进展。

这些模型的一个巨大组成部分，有点像是在通过消耗大量 video data（视频数据）来隐式地学习 physics（物理规律）。所以我想你提到过，gravity（重力）是人们最常拿来观察的那个经典例子。你离这些模型这么近，有没有一种直觉判断：你觉得在 world models 里面，这件事什么时候会变成一个基本已经被解决的问题？

对，这是个好问题。实际上，你这让我开始想到 evaluation（评估）这个问题。对吧？比如说，如果你训练了一个非常好的、你知道的、video——对。

你该如何评估一个模型中的 physics？

对，对，这是个好问题。对吧？你可以想象，问题在于，一旦你加入 language（语言），那些知识一下子就会以某种方式在那里了。所以如果你问一些关于 gravity（重力）的基础问题，当然，你的回答很可能只是因为你读过网上对它的解释之类的内容。

所以你需要以某种方式把 gravity 这个概念——它可能存在于某个 world model（世界模型）中，也可能不存在——连接起来，然后再把它 decode（解码）成一种解释，能够让你满意；也许一开始只是某种基础解释，之后甚至可以推导出那些 equations（方程）之类的东西。这就是你可以如何构建一个 eval（评测）。据我所知，我们还没有从这个角度来思考这个问题。关于 unsupervised machine translation（无监督机器翻译）肯定已经有很多早期工作了：你会尝试把内容翻译成一种在训练期间从未见过的语言，并且你可以对齐 representation（表征）。所以这里面大概有一些思路，可以得到一个能够“说”语言的 language model（语言模型），或者说一个你可以从中进行解码的模型。

你会得到这些 world models，它们会形成这种概念层面的理解，并把两边对齐。你知道，确实有一些 papers。我是说，这些都是比较老的论文了。我记得其中一篇，好像是 Stefan Gauss et al 的，来自 2014 年。但接着你就可以尝试开始做 decode，而把这件事转成一个 eval，到了那一步看起来就几乎是顺理成章的事了。

但是，再说一次，这些 eval 还必须从 application（应用）的角度来看是有意义的。所以归根结底，你也可以说，看看，我们有了一个 world model。比如说，我们能不能从它的 representation 中 decode 出、或者我不知道，诱导出一个复杂系统中的运动呢？对吧？

那会是另一种间接的 eval。所以思路很多，不过，是的，eval 一直都非常重要。

说到别的话题，切换到你们昨天发布的另外一些东西。你知道，我肯定想聊聊 agents。你们在 Spark 里发布了一些非常有意思的 consumer agents，对吧，作为 IO 的一部分。你知道，我觉得这特别有意思，因为至少从外部看，这似乎像是你们在 2024 年的 project Mariner，以及其他一些 computer use 相关工作基础上的一个大幅改进版本。所以这确实让人感觉，在 capability（能力）上发生了一次真正的跃迁。

所以我很想听你展开谈谈，究竟是哪些 research breakthroughs（研究突破）促成了这一点，以及大家应该如何理解这些 agents 今天能做什么、不能做什么。

我们知道那会是一种非常重要的 modality（模态），也就是 actions（动作），对吧——去行动并改变，比如说，一个数字计算机的状态。然后我觉得，随着你不断演进并让 model（模型）变得更好，你会开始逐渐意识到某种路径：先把模型做到非常强，然后把重点放到围绕模型构建 system（系统）上，再尽可能对 system 和 model 做联合优化，诸如此类。所以就什么造成了那个 delta（增量）或者能力提升而言，主要还是围绕如何安排一系列 release（发布）的节奏。同时，从某种意义上说，model capability 也必须先达到某个层级，你才能开始去设想下一阶段的能力会是什么，模型接下来还可能做到什么。

对。我想你知道，consumer footprint（消费者足迹）很有意思的一点在于，人们想拿它做的事情实在太多、范围也太广了。所以我会想，到目前为止，以及从长期演进来看，model 加 system 的这项工作，对人们想做的那些问题的各个子类别来说，到底需要多大程度上的 bespoke（定制化）；还是说，它其实可以非常通用——你只是在优化一个 system 和 model 的组合，而这个组合基本适用于你在 Spark 里想做的几乎所有事情。

把能力专门化到某个感觉更可控、而且已经非常有用的方向，总是有一个先后顺序的。比如说，如果你看 Spark，它可以访问许多为了协助你安排日程、组织一天的事务，甚至思考你该如何处理不同问题所需要的信息，因为它拥有非常丰富的 context（上下文）。所以，围绕一个你非常在意的事情，把 system 稍微更窄一些地构建出来，是很有价值的。但如果你回看 machine learning 和 deep learning 的历史，我们始终是在朝“我们构建的组件是通用的”这个方向前进。所以这里其实还有一个很大的假设，也和 world model（世界模型）这个点有些相关：把所有东西联合起来训练，一定会比只狭义地聚焦某一个 domain（领域）更好。所以即使只从 modeling（建模）的角度看，这一点也非常明确。

但即使从 systems 的角度看，一个相当通用的 system，然后再根据你如何指示它、如何与它交互，你当然就可以把它放进这样一种空间里：比如，“这个用户想做这件事，但我有所有这些能力，那我就在 train time（训练时）想办法弄清楚该调用哪些能力。” 不一定是专门为那件事去构建它，而是先构建一个通用的东西。然后，specialization（专门化）是通过一层 intelligence（智能）来发生的，对吧——来自 model 的智能，以及 system 的通用性。我觉得这已经相当清楚地出现了；当然，实践中有时为了限制范围，或者让它更高效一些，做一定程度的专门化也依然是有意义的。

但是，从 special list 到 general 的这个过程，我们已经看到它一直在发生，哪怕只看 architecture（架构）层面也是如此。我的意思是，transformer 最初是一个 machine translation 神经网络，对吧？而现在它从 Omni 到控制你的电脑，几乎什么都能做。

所以，对，我觉得这是我预期中的一个步骤。

这些年来你一直很公开地谈论 Bitter Lesson。我很好奇，当你观察整个领域时，有没有哪些地方让你觉得，人们现在并没有真正遵循它；或者说，基本上有哪些地方是你看到某种结构、或者巧妙的 scaffolding（脚手架式设计）时，会觉得规模扩展最终会把这些东西慢慢冲刷掉？

对，我觉得是有的。我的意思是，有一个我觉得很令人兴奋的方向，已经有一些相关研究发表了，就是：从极限情况来看，我们现在通过写代码构建出来的 system——有时是在 model 外面包上一层复杂的 scaffold（脚手架），比如 multi agents（多 agent）、sub agents（子 agent）、delegation（委派）、非常长时间运行——这个 system 本身其实也是一段代码，而最终 model 自己也可以在运行时即时把它写出来，对吧？所以你可以想象，不只是拥有一个非常通用的 system，甚至也许根本不需要 system，而是 model 能够根据它被要求完成的任务，自己把这些东西写出来。

就像，那个

最 token 高效、比如能围绕一组问题给出最高质量输出的一组 sub agents（子 agent），以及与之相关的各种东西。

对，没错。我的意思是，我们也看到了这一点。过去大约一年半里，我们见到的一种范式转变当然就是 reasoning models（推理模型）：它们可以在 token 空间里进行长时间推理。但当然，最终更重要的是：你是否应该推理、应该推理多久；并且要根据用户所提问题的复杂度加入这一层智能，这样系统才会更高效。所以我认为，围绕这些系统你所做的事情里，会有一个层面——我不完全确定最终会是从零手写搭建，还是某种自动化——它会足够聪明，能为合适的任务创建合适的 scaffold（脚手架/框架）。

在 agent 这边，我觉得现在有很多人都在折腾、都在实验，试着构建这种长时间运行的 agents。而且我想，很显然，他们在试图让这些 agent 跨越数百个步骤保持稳定时，会遇到各种各样的问题。你是怎么理解要进一步提升 agentic reliability（agent 式可靠性）所需要的东西的？

对。我的意思是，对这些问题，最直接的答案某种程度上就是：同时改进模型周围的 scaffold。如果你想想训练一个 neural network（神经网络）的方式，它是在某种任务分布或模态分布上训练的，或者说学习如何把不同的词和视频之类的东西连接起来，对吧？这些本质上都和你如何训练、预训练或后训练这些 weights（权重）有关。

所以如果你去想，出现了一种新的工作类型或模态，需要这种运行时间很长的系统，而且这些系统还必须以某种方式从非常长的上下文中学习——而这也是我们一直在创新和推进的方向，1.5 某种意义上就是我们在 long context（长上下文）上的突破——那么就很明显，模型本身也会跟上，对吧，去满足用户需求以及那些更偏未来的 use cases（使用场景）。而这有一部分就是研究者面临的挑战，对吧？要去预测什么是可能实现的，然后不仅专注于构建一个对此足够稳健的系统，还要思考：当你塞入海量上下文、做各种疯狂操作时，如何让这些 weights 对此没那么“难受”，甚至更“适应”；而不是只寄希望于通过 prompt 诱导出的那种行为所带来的泛化，差不多是这个意思。

大家都在试图搞清楚的一个模式就是 memory（记忆），对吧？以及如何在这些 agents 之间、跨这些 agents 来解决这个问题。你有没有什么直觉，觉得这件事最终会怎么被解决？

对，我觉得 memory 很有意思。我想从很早的时候开始，你就可以某种程度上这样去理解它。我觉得最初我们对它的刻画——这大概也带有一些我的偏见，毕竟我博士研究做的其实就是大脑中的 memory systems（记忆系统）——不过，关于 memory 有几种不同的思考方式，但我比较喜欢一个更简单的说法，就是 working memory（工作记忆）。

对吧？就是那些因为我们正在做的事情或正在讨论的话题，而当下非常鲜明、非常在场的东西。然后还有所谓的 episodic memory（情景记忆），它某种程度上是一种你可以访问的 retrieval system（检索系统）；它可能没那么精确，但当然它对应的是更长的上下文，或者潜在地包含了你我愿意记住的全部上下文——也就是我们积累下来的、整体性的全部经验。实际上，memory 不只有两个层级，但用这种“层级”的方式来思考 memory 是有帮助的。计算机也是一样，有 cache、L1、L2，等等。

所以，说到模型，我认为 working memory（工作记忆）这件事，因为有了 transformer 等机制，我们已经有了一个非常强大的方式来使用这类记忆。你知道，我们手头可以动用数百、数千、数百万个 token，用它们来修改这部分记忆，并基于此做出很惊人的事情，比如处理复杂的 CRM、达到金牌级别的数学能力，等等。而我认为现在很有 momentum（发展势头）的方向是：我们怎样把先前在不同交互中发生的事情，或者一次长到超出 working memory 所能记住范围的交互过程中发生的事情，进一步整合起来。我们该如何存储这些知识？而且，通过各种不同实验，我觉得其他人——现在的标准叫法大概是 skills——但其实它比那个概念更宽泛。

因为它是一个 agent，所以我们确实可以访问一个 memory system（记忆系统），也就是计算机本身。因此你可以开始考虑把你的“想法”写进文件里，把它组织成目录或文件夹，并且在你与同一个用户进行多次 episode（交互回合）时，或者在一次非常非常长的 episode 中，这样去做。所以目前一个相当不错的机制——不过我还是觉得模型的 weights（权重）还没有跟上——就是把这类 knowledge base（知识库）加入文件系统里，或者说加入任何一种你可以修改、读取，并配有一些基础 retrieval（检索）机制的存储格式中。这已经非常强大了，不过我认为这里仍然还有很多潜力尚未被挖掘。

我想，我们很多人都把这称为 continual learning（持续学习）的一种形式，但我认为我想推动的机制——或者说，我的意思是，它显然会越来越有效——是这种文件系统风格的、类似 nonparametric（非参数）的方式。相比把这些内容重新整合进权重里，这样做要方便一些；哪怕从非常实际的角度看也是如此，因为我们会尝试大规模提供同一个模型服务。所以，如果必须为不同用户提供带有不同记忆的同一个模型，那会非常——怎么说——很痛苦。因此即使从实践层面看，我也认为我们会看到更好的评估方式，以及这些模型在交互过程中积累知识的更好方法。而我觉得这在某种意义上可能也会带来 paradigm shifting（范式转变），有点类似于我们大约一年半前看到 reasoning（推理）能力发展时的情况。

这是否会变成每个人都拥有各自的模型，也就是说，文件系统本身彼此独立；还是说你认为随着时间推移，人们会拥有权重也会因为他们做过什么而不同的模型？

嗯，正如我刚才说的，让它在权重层面变得不同会是一个挑战。

对。很难提供服务。对。

这会——我的意思是，如果那是最好的方式，那我们总会找到办法，对吧？包括通过硬件来实现，当然，我们也在 hardware design（硬件设计）上投入了很多，这将使你能够拥有某种意义上更个性化的权重。但至少，你当然会有属于自己的 knowledge base，可能是只对你个人而言的。其实在过去几年里，甚至就在 LLM 领域，你已经能看到很多这类东西被实现出来的例子了。然后，也许还会有另一层知识，它对某个给定模型的所有用户都更通用；你可以设想模型能够访问这层知识，并通过它来丰富或增强模型能力，而无需改动权重。所以这非常有意思，如果能做到那一步会很棒。

我感觉 continued learning（持续学习）已经成了当下最热的话题，几乎每个人都在谈它。你现在也看到了一些有意思的例子，而且还是一些高关注度的例子：有人从 OpenAI 或其他地方出来创业，然后说，嘿，我的意思是，当然，你可以继续扩展我们现在正在做的东西，而且我觉得没人否认这些 scaling laws（缩放定律）是存在的；但他们的意思是，你似乎几乎需要一种新的 research bet（研究押注），才能真正实现 continual learning，而且，也许把这件事放到不断改进这些核心 LLM 的路径之外去推进，会更合理一些。我很好奇你怎么看待整个这种动态，以及——对——也想听听你对此的整体看法。

我很早期就在 Google Brain，后来在 2016 年转到 DeepMind。眼下我觉得，显然，既有挑战也有机会：你当然会想去研究一些问题，而这些问题未必适合被说成“好，接下来三个月内它就会进入下一轮 training run（训练轮次）”。但与此同时，这些研究也不能和前沿脱节，对吧，不能脱离 LLMs（大语言模型）正在前进的方向。我的意思是，我们一直在改进 Gemini。看到 Flash 超过几个月前的 Pro，确实很让人着迷，而且这种事还在不断发生。

所以，一方面要尽量站在 capability（能力）前沿，因为这可能会决定某些研究能不能做；另一方面又要给研究保留空间。当然，这已经不是那种按多年周期推进的事了。事情变化得非常快，但把这两者结合起来，某种程度上就是构建这类组织的魔力所在。当然，我们每个人看问题的角度都不同，也都能想办法去搭起这两者之间的桥梁，并识别机会。这在某种程度上正是所需要的能力，对吧：并不是说你能拥有完整的可见性——组织太大了，不可能——而是你要有一些直觉，然后有时还要积极地把这些想法拉进来，因为那感觉像是正确的事。

所以从 research（研究）的角度看，这其实正是这种层级组织的定义性特征。我能看到的范围，从对 robotics（机器人）的投入，到当然还有 LLMs 的最前沿，再到那些已经落地或将会落地的研究成果。对吧？但这很有挑战。这是一个——资源是受限的，所以这确实是个很有意思的 trade-off（权衡），而且也不是每次都能做对。但我觉得，这是一种非常迷人的、关于 research 的不同维度：不只是“哪个想法能进下一篇 paper（论文）”或者“现在能进模型”，而是实际上要思考，究竟该如何组织这个——对，整个组织本身。

这很迷人。

这感觉像是一个对你这种角色的人来说最有意思的问题之一，因为你很难不为这些模型今天已经能推动的那么多事情而感到兴奋，而且显然现在有太多事情同时在发生。我觉得，哪怕拿 OpenAI 这样的组织来说，他们也在某种程度上来回摆动过：一方面会觉得，AI 这边有太多 low hanging fruits（低垂果实，容易摘的机会）和值得去做的事；另一方面现在又进入了一个更聚焦的阶段，像是，“天啊，我们真的必须把 code（代码能力）做好，并追上 clawed code。” 我很好奇，你是怎么思考这种 trade-off（权衡）的：是聚焦在一件事上，让整个 org（组织）都朝同一个方向划桨；还是保持一个更宽的 surface area（覆盖面），尽管其中每一块都同样非常有意思。

Google 之所以处在一个独特的位置，有几个原因。第一，Gemini 目前的确有很大的 surface area（覆盖面）。对吧？它实际上正在为一切提供动力。但我们的优势在于，组织里的其他部分，已经可以说是完全接受了 LLM era（大语言模型时代）。

所以从某种意义上说，他们会拿到模型，然后基于它去做一些事情。但如果你觉得那并不是推进 frontier capabilities（前沿能力）的下一种方式，那么你知道，你完全可以依赖一个非常优秀的团队，他们会把模型带到它需要去的地方。对吧？与此同时，我们在 hardware procurement（硬件采购）方面也有稳定性，完全是这样。显然，还有 capital（资本）投入方面的稳定性，因为我们在 revenue streams（收入来源）等方面是非常 end to end（端到端）的。