OpenAI Board Member Zico Kolter on the Real Risks of Frontier AI

我于 2024 年加入 OpenAI 董事会。此后不久，我成为 safety and security committee（安全与安全委员会）主席。如果我们觉得有些问题还需要进一步理解，我们可以推迟模型发布。如果一个模型在某方面还不够好，你会怎么做？你就等着，对吧？

因为下一个模型会在这方面做得更好。到目前为止，当涉及模型的 robustness（鲁棒性）这类问题时，我们还没有看到同样的情况发生。你不能想当然地认为，模型只要变得更大就会自动更安全。AI 系统本身其实极其简单，极其简单。整套代码大概也就两三百行 Python code。

这让我非常震惊。AI 系统的全部复杂性，都是从它们训练所用的数据中演化出来的。

大家好，我是来自 FirstMark 的 Matar。欢迎来到 MAD podcast。今天的嘉宾是 Zico Coulter，他是全球最受尊敬的 AI safety（AI 安全）与 security（安全防护）研究者之一，也是当今 AI governance（AI 治理）领域最有影响力的人物之一。Zico 是 Carnegie Mellon 机器学习系主任，同时也是 OpenAI 董事会成员，并担任 safety and security committee 主席。我们聊到了 OpenAI 的安全监督在实践中如何运作、为什么更大的模型并不会自动变得更安全、在 2026 年 jailbreaking（越狱）和 prompt injection（提示注入）意味着什么，以及为什么现代 AI 远比大多数人意识到的要简单得多。

这是一场内容非常扎实、同时也讲得非常清楚的深度讨论，主题涵盖 AI safety 以及 AI frontier（AI 前沿）的方方面面。请欣赏这场与 Zico Coulter 的精彩对话。嘿，Zico，欢迎你。

很高兴来到这里。

尤其是在过去这几年里，你已经成为 AI governance 和 safety 领域最有影响力的人物之一。所以我觉得这是一个很好的切入点。你几年前加入了 OpenAI 董事会，现在又是 safety committee 的一员。请你帮我们理解一下，你在 OpenAI 处于什么位置，以及你具体在做什么。嗯，

当然。 我是在 2024 年 8 月加入 OpenAI 董事会的。此后不久，我加入了——或者说成为了 Safety and Security Committee，也就是 SSC 的主席。这个委员会负责监督模型开发的安全性，实际上也负责监督 OpenAI 在模型开发与安全方面的治理。更具体地说，OpenAI 拥有一个规模很大的安全组织，里面有多个不同的小组和团队。所以其中有 safety systems team、preparedness team、alignment teams、model policy teams，还有许多不同的团队，分别致力于推进安全的不同方面。

SSC 的职责，本质上就是对这件事的治理（governance）进行监督。具体来说，就是我们会和各个团队会面，了解他们正在做什么，就 model 的安全性进展提问，了解他们如何为 model 的发布做准备，以及他们如何实施和开发发布这些 model 所需的各项 safeguard（安全防护措施）。我们并不参与这个流程里的实际执行工作，但我们会参与对这一流程的监督。我们一个比较、我想算是更广为人知的职责是，在 model 发布之前，SSC 会组织一次大型评审，届时会有很多团队成员参加。并且 OpenAI 为 model 发布设定了很多标准。

所以我们可以更详细地谈谈其中一些内容，比如 preparedness（准备度）之类的。通过我们获得的大量信息——他们会提供很多关于这些 model 的信息，我们也会收到关于这些 model 的第三方报告——基于所有这些，我们本质上是在评估，这些事情是否符合既定政策、符合公开的框架，对吧？这也是团队自己正在做的事。而他们会把这些内容呈现给我们。

而在本质上，如果我们还有更多问题，在我们觉得需要进一步理解清楚的情况下，就可以推迟 model 的发布。

那具体是怎么操作的？是打一通电话吗？你告诉 Sam，你们不能发布 5.5？

实际上的形式会是在会后发出一份说明或 email，说我们希望补充这些额外事项。

这是经常会发生的事吗，还是——

还是说这是完全例外的情况？我们不想过多谈论那里具体是如何运作的细节。但我们会为每一次发布召开这类会议。实际上，我们会为每一次重大的 model 发布召开这样的会议。并且其实在临近发布之前，我们也经常会进行很多沟通，与研究人员保持密切联系，了解相关情况，因此通常不会出现什么意外，对吧？

这确实是一个监督角色。所以再说一次，我知道 corporate governance（公司治理）听起来并不是什么特别令人兴奋的话题，但如果你了解 corporate governance，就会知道，这和 audit committee（审计委员会）的角色并没有太大不同，对吧？审计委员会会监督财务，因此我们也会经常和 CFO 沟通，查看公司为了提交给 SEC 的报告等而产出的很多材料。我认为，AI 公司开始建立类似的治理政策其实非常重要，因为这件事确实需要这种级别的监督和保证。它正在成为一个极其庞大的产业。

就像董事会会设有审计委员会一样，我认为这非常重要，而且我也希望未来能看到更多这样的安排，尤其是在 AI 公司中，设立诸如安全与安保委员会之类的机构——不管具体名称是什么——来监督 model（模型）的发布与治理流程。

对，对。不，听着，我同意，尤其是作为一名会参与审计委员会和薪酬委员会的 VC（风险投资人），公司治理并不总是最令人兴奋的事情。对。但是当涉及到 model（模型）——它们可能会对世界产生我们所知道的那种影响——这件事显得格外重要。你提到了 OpenAI 内部围绕 safety（安全）和 security（安保）的各类团队。

你能再具体讲讲这些团队在内部是如何组织的吗？

对，我是说，关于 safety systems（安全系统），那里有不同的团队，组织结构也有一点——我不该说是在变化——但有时在精确的组织安排上确实会比较灵活。不过我想强调的重点并不是这些团队的精确结构，而是不同团队各自做什么。一个例子是 OpenAI 的 preparedness team（预备团队）。preparedness（预备）本身是一个公开框架，OpenAI 已经发布了 preparedness frameworks（预备框架）。我记得第一个版本是在 2024 年 2 月发布的，实际上那是在我加入董事会之前。

此后我们又更新过几次。preparedness 本质上是一份文档，用来列出这样一些条件：当 model（模型）达到某些能力水平时，必须满足哪些要求。我认为，从 model（模型）发布的角度来看，这是一个思考 safety（安全）的很好方式，对吧？要非常明确地说，并不是所有安全问题都适合放进这个框架里；它更多针对的是 model（模型）可能具备的那类灾难性危害。但 preparedness 的核心想法是：当 model（模型）达到某个能力水平时，对吧？

这当然可以在很多场景中被正向使用，但也可能被坏人以有害的方式利用。所以，随着 model（模型）在基础生物学知识方面变得更强，它们也可能被想要滥用这些能力的恶意行为者所利用。cyber（网络安全）也是一样，对吧？现在这当然非常突出，也就是 model（模型）的网络能力。人们希望 model（模型）能够评估软件中的漏洞。

实际上，这是 model（模型）最擅长做的事情之一：开始修补漏洞；从根本上说，这具有 very fundamentally 的 dual use（双重用途）属性。所以 preparedness framework（预备框架）所做的，是枚举某些风险类别，比如 biological risks（生物风险）、cyber risks（网络风险）、AI self improvement risks（AI 自我改进风险），并通过 benchmark（基准测试）来评估这些风险，这些 benchmark 有的是 OpenAI 运行的，在很多情况下也有外部机构运行。然后，它会规定当这些 model（模型）达到某些阈值时，为了让它们运行或发布，必须具备哪些 safeguard（防护措施）条件。这就是 preparedness 的基本理念。我认为很多治理工作都与此相关。并且要说明的是，这是一个由 OpenAI、Anthropic 等机构都参与推动和发展起来的框架。

事实上，OpenAI 有 preparedness，Anthropic 有 RSPs，Google 有他们那个我想是叫 frontier model framework 的东西。很多公司都有这类框架。我认为，实际上作为一个社区，我们已经为其中一些事情建立了很好的标准。现在，我要强调的是，这只是整个 safety（安全）图景的一部分，对吧？因为还有很多风险并不属于 harmful use（有害使用）这一类，对吧？

这类问题某种程度上更偏向 model policy，也就是模型在特定情境中应当如何表现。比如，它该拒绝什么？该允许什么？或者更坦率地说，它们是更偏社会层面的问题，对吧？它们并不是由某一个模型的发布直接导致的，而更像是随着整个 ecosystem（生态系统）的演进而出现的。

这个我后面还可以再多讲一点，但我确实认为，我们现在看到的一个大趋势是，很多 safety（安全）工作正在从模型层转向 ecosystem 层，也就是讨论的重点不再是“某一个模型能做什么”，而是“AI 整体上能做什么”。所以我确实觉得，所有这些方面都必须通过 safety 来应对，这也是为什么 OpenAI 里会有很多不同的团队；而 preparedness（准备度）就是一个例子，它是一种相对清晰的 framework（框架），也是一个用于规范模型发布的公开 framework。对。

如果你暂时不戴着 OpenAI 的帽子，而只是作为一个更广义的行业观察者来看，你提到了 OpenAI、DeepMind、Anthropic 的各种举措。你对 safety、governance（治理）、security（安全防护）这些方面的进展速度有什么判断？我的意思是，很明显，我们已经看到核心模型能力取得了惊人的进步。你觉得这个领域——广义定义下的 safety——推进得一样快吗？

我认为 safety 确实是在进步的。我觉得我们已经取得了很多进展。但问题就像你说的那样：模型显然、客观上——至少在很多我们可以衡量的场景中——比一年前更安全了。Guardrails（护栏机制）更难被绕过，也更稳健。总体来说，在那些我们可以评估的场景里，它们出现 misalignment（失配/不对齐）的情况似乎更少了。

关于这个，我记得 Anthropic 的 Jan Lake 发过一些图，在 Twitter 上展示了这一点。所以这些模型基本上表现出：model misalignment（模型失配）是在随时间下降的。也就是说，模型确实在一个非常真实的意义上变得更好了。当然，问题在于，与此同时也发生着另一件事：随着模型的发展，control surface（控制面）正以惊人的速度扩张，对吧？也就是模型能够进行 actuation（执行/作用）的范围在增加，模型开始被整合进日常系统的方式也越来越多，进入那些我们一直在使用的事物之中。

现在赋予 agentic systems（代理型系统）的 autonomy（自主性）比一年前高得多。所以真正的问题在于，我认为这些模型能像现在这样良好运作，某种程度上其实正说明 safety 和 security 的提升确实发挥了作用。但接下来始终存在的平衡问题是：我们如何确保正在进行的 safety 工作，能够以与 AI 被广泛使用相同的速度增长？而这确实需要持续不断的投入和努力。我认为这既需要 model providers（模型提供方）、third party providers（第三方提供方），也需要 end users（终端用户）共同参与，本质上就是要确保我们是在以负责任的方式部署 AI，因为我们部署 AI 的规模正在越来越大，它正在变得无处不在。

问题就在于，我们如何确保，并且如何持续确保，这些 safety 流程本质上能够跟上模型进步的速度？

对，非常有意思。想就你刚才说的一点再深入追问一下：模型在变得更强的同时，也在变得更安全。我知道你们做过有史以来规模最大的 agent red teaming（agent 红队测试）竞赛，一共有 1,800,000 次攻击尝试。那么，你们在 capability（能力）与 vulnerability（脆弱性）之间的关系上发现了什么？

对，这项工作是我在 Grace One 做的；Grace One 是我两年多前共同创立的一家 AI security 初创公司。我们的发现是——这是我们在那次特定分析中发现的，但其实也是一种相当普遍的现象——人们常会说，如果一个 model 在某件事上还不够好，那怎么办？你就等，对吧？因为下一个 model 会更擅长这件事，对吧？

而且在很多领域里，这种策略本质上确实是有效的，对吧？如果你想让 model 更擅长 math，更擅长——我是说，我知道 math 这个方向已经被高度优化了——但你想让它更擅长 legal，想让它更擅长这些事情。没错，确实有大量数据被训练、被放进这些 models 里。我不想淡化为了让 models 在这些方面专业化所投入的努力。但大多数情况下，你只要等待一个更大、更强、经过 post-training（后训练）的 model，或者一个经过更好 RL（强化学习）调优的 model，就能获得巨大的提升。

这些模型的能力几乎是在各个方面都提升了。有时候，为某一种能力进行训练，实际上也会顺带提升它在其他方面的表现。到目前为止，在 model 的 robustness（鲁棒性）这类问题上，我们还没有看到同样的情况；也就是它们面对操纵时有多强的抵抗力，诸如此类。这并不是说 models 在这些维度上没有进步，它们当然进步了；但你不会仅仅通过训练 models、仅仅把它们做得更大，就自然得到这种进步。要让 models 更 robust，更广泛地更安全，你需要在训练中明确地针对 safety（安全性）进行优化，加入额外的 monitor（监控器）、额外的子结构，用来监测输入和输出，作为额外的一层过滤。

你实际上可以加入各种流程来让 models 更安全。但这件事也不只是 model 本身的问题，而是整个系统，对吧？你很可能还需要在能力允许的范围内监控 model 的使用情况，或者用 LLMs（大语言模型）去监控 model 的使用情况。一个常规的 safety stack（安全栈）其实包含很多层。

而这些东西都是提升 model 安全性所必需的。没有捷径可走；你不能只是指望 models 变得更大以后就会自动更安全。你必须真正投入工作去让它们更安全。我觉得这也是很多 AI 公司正在投入的方向。也正因如此，我们的确已经有了在这些维度上持续改进的 models；但这绝不是随着整体能力提升就能免费附带得到的东西。

安全问题是从哪里来的？是因为 models 的推理能力变强了，因此它们既能想出好的点子，也能想出坏的点子，还是

data sets？对。所以我觉得，要回答这个问题，得先稍微拆解一下 AI safety。它是一个极其宽泛的术语。事实上，我甚至会主张它就应该是一个宽泛的术语，因为现实情况是：与 AI safety 相关的、在根本上彼此不同的问题，都会被放在这个总称之下。

坦白说，一个挑战在于，人们有时会用同一个术语去指代非常不同的问题。我通常会把 AI 的风险大致分成四类；先说明一下，我并不喜欢这种分法——说清楚一点，所有 ontology（分类体系）都是错的，或者也许有些是有用的，不过这一点其实也有争议。这个分类本身就非常不完整，也并不准确，但我大致会把 AI risk 看作横跨一个光谱：最前面的一类，基本上是来自 model 单纯犯错的风险。这包括 hallucinations（幻觉），也包括 model 有时只是犯一些很傻的错误，不知道该怎么做，于是把事情搞错了，对吧？Prompt injection（提示注入）其实也是这一类的一部分。我们可以之后再多谈 prompt injection；但它本质上就是别人能够骗过 model，因为 model 有点——它并不真正理解完整语境，也并不真正理解很多事情。

所以这算是第一类。也就是模型会犯一些有点“傻”的错误。我知道我平时不太用 silly 这个词，而且这么说多少有点把问题说轻了，但这里指的是那种对人来说非常明显的错误。第二类会是像 harmful use（有害使用）这样的事。所以这一类、以及这个问题，本质上就非常不同，对吧？

因为一类安全问题来自模型犯错。接下来这一组安全问题，则来自模型其实表现得非常好，只是落在了试图利用模型造成伤害的人手里。所以问题恰恰在于，模型在 biology（生物学）方面真的很强，对吧？这大概就是第二类。第三类则更多是和 LLMs（大语言模型）相关的社会层面、甚至心理层面的问题，对吧？

这是又一个非常不同的类别。这关系到，比如说，它对社会、对经济会产生什么影响？它的 downside（负面影响）是什么？对于 AI systems（AI 系统）来说，这些负面影响可能会是什么，对吧？然后对个人也是一样，我的意思是，人类在进化过程中其实并没有为像这样与系统交谈、对话做好准备。

而这些也都是这类系统的风险。最后一类，则有点像这种 loss of control（失去控制）的情景。也就是说，模型变得非常强，强到事实上在很多事情上比人还厉害。也许它会开始自我改进。也许我们会失去像现在这样真正控制模型的能力。

而一旦开始发生这种事，就可能带来各种各样的后果，甚至你想象得到多少就可能有多少。这里我也确实想说明一下：我并不是在声称这些情况都很可能发生；其中有些可能会，有些可能不会，我的意思是，有些我们其实已经看到了，对吧？但我不是在对这些不同情况各自发生的概率做判断。不过，它们全都是风险，而当你开始考虑开发 AI systems（AI 系统）时，这些都必须被纳入考量。我认为，或者我知道，至少在 OpenAI，大家对这些问题有很多思考，也有相当的理解。我也认为，其实在大多数 AI 公司，以及整个研究领域里，对这些问题都存在一种非常广泛的理解。

即使你只专注于其中某一项风险，即使某个特定团队或某个特定研究小组主要聚焦其中一类问题，大家对所有这些问题整体上仍然都有相当广泛的理解。我想我有点忘了你最初关于这个问题是怎么问的了。不过我真正想表达的重点是：当你在考虑 AI risk（AI 风险）和 AI safety（AI 安全）时，不能只盯着其中一类，而牺牲对其他类问题的关注。你必须把所有这些问题都一起考虑，都放在脑子里。否则的话，如果 harmful use（有害使用）仍然可能发生，那你把系统做得再能避免 prompt injections（提示注入）也没太大意义，对吧？

反过来也一样。所以确实有这样一种感觉：AI safety（AI 安全）正在变成一件非常、非常务实而且紧迫的事情，我们必须继续从广义上持续关注这些问题。

所以我很好奇，从你的 vantage point（视角）来看，过去这几年一直很激烈的 accelerationist（加速主义）和 doomerism（末日论）之争——它似乎总会随着时势变化而时起时落——这种争论真的有帮助吗？你自己是这样理解这个问题的吗？

我很不喜欢双方使用的那些标签。说来也怪，这些标签基本上都会被两边当作带贬义的说法，对吧？如果有人对 AI 系统的风险表达了太多担忧，人们就会把他打成 doomer；如果有人想发布模型，又会被叫作 accelerationist。也许有些人后来会把这些词当成一种自豪的身份，但它们本质上还是有点带着轻蔑和 dismissive（轻视）的意味。我想，我自己并不属于那一边，我也从来没有表达过什么 P doom 之类的说法。

我只是觉得那是个很奇怪的概念，好像这个世界是一组带着讽刺意味的骰子，可以被反复掷很多次，而我们对此却没有直接影响力一样。所以我认为，现实情况是，这类标签往往会掩盖当下局势中的很多真实面向：在我看来，AI 既不是一种彻底糟糕的技术；它也不是一种完全没有风险、可以毫无约束随便开发的技术。我会说，95% 的研究者，甚至也许 99% 的研究者，可能都有非常相似的看法——你知道，这项技术有巨大的前景。

机会非常巨大，但我们必须留意风险。这其实是一种并不具争议的说法。说出来甚至几乎有点乏味，但我认为几乎所有人都处在这个位置。即便是那些被贴上 accelerationist 标签的人，我和他们谈到 safety（安全）时，他们也会说，哦，对，这听起来很合理，你关于我们应该这样做的看法是有道理的，因为这里面确实有很多问题，对吧？会有人声称，像我刚才描述的那种 safety 是我们不该关注的吗？

那似乎很奇怪。但同样，人们难道会认为 AI 没有任何好处吗？会认为我们所做出的这种发现，A）真的有可能再被塞回瓶子里，或者 B）即便能做到，那也是我们想做的事吗？这都显得非常奇怪。在我看来，这并不真实。所以，我觉得几乎所有研究者的感受也都差不多。因此，如今这些标签在我看来，本质上更像是 dismissive insults（带有轻蔑意味的辱称），而不是别的什么。

但先不谈这些标签，当你或者你这个领域的人听到大量这类论点时，人们会不会翻白眼，觉得因为它太灾难化了，所以你其实是在为那种极其、极其不可能发生的情形做优化？还是说，人们会认为，哦，你知道，这其实确实是我们应该思考的事情？

我非常庆幸有人投入大量时间去思考 AI 可能出错的方式，包括以 catastrophic（灾难性）和 existential（生存性、关乎人类存续）的方式出错。我认为，有些人对这项技术持有甚至相当 bleak（悲观）的看法，这完全是一件好事。我认为，相关研究正在开展，这是好事。像 loss of control（失去控制）这样的问题，并不是我学术研究的主要重心所在，但我觉得很棒的是，人们正在从一种真正科学的视角来思考这些问题。所以坦率地说，我不会轻易 dismiss（否定）任何一种论点。

而且，我也愿意和那些认为我们现在需要停止所有 AI 研究的人交谈。我想听听他们的观点，理解他们为什么会这么想。我也愿意和那些认为我们根本什么都不用担心、应该把一切都 open source（开源）的人交谈。我的意思是，先说明一下，我自己也支持一定程度的 open source，但这里说的是把所有东西都直接发布，不做测试，你知道，或者说几乎不做测试，只觉得收益会超过风险，而我们能做的最好事情就是尽可能快地发布。现实就是，我乐于和这两派人对话。

我并不同意这两种立场中的任何一种，但我非常高兴人们是在严肃对待这件事。如果人们对这些可能性完全 dismissive（不屑一顾、全盘否定），那会是一个糟糕得多的世界。坦白说，我认为过去很多 academic work（学术工作）的历史，实际上一直相当 dismissive，对 AI 的一些更夸张的说法不以为然。而我其实很高兴，现在这种倾向似乎已经没有以前那么突出了。

现在回头看，是不是有点离谱：大概两三年前，当时行业里很多顶尖人物联名签署了一封公开信，主张暂停一段时间——暂停六个月，对吧？我记得那大概是在 GPT-3 到 GPT-4 那个时期。

是 GPT-4，没错。好。是的，所以现在回头看，我其实很难判断：A，当时那六个月里是否正有某个模型在训练，而它后来最终变得强大得多。我的意思是，再说一次，那六个月我印象中应该是从 2024 年初开始的，对吧？当时的模型大致也就是那样的水平——抱歉，是 2023 年。

那就是这封信发布的时候。当时的模型大致就是那个水平；在接下来的六个月里，并没有发布一个明显比 GPT-4 更强大的模型。所以从某种意义上说，一些条件确实满足了。顺便说一句，那段时间人们也一直在做 safety（安全性）方面的工作，试图理解这些问题。那些签署了那封信的人会认为它成功了吗？这让我觉得很……我不认为我们——不过话说回来，我很高兴人们把这些事情带到公众、公司以及各种主体的注意范围中。

我认为表达意见这件事本身很好。但在我看来，这种传统意义上“暂停六个月”的想法，是否真的有可实现的依据，或者是否真能带来明确的 return on investment（投资回报），这一点并不清楚。

是的，那将需要成为一项全球性的行动；你将会

不得不给这些实验室某种……另外一点——我想这里我是在假设这件事在理论上真的可行——就是这种“哦，我们用六个月就能把问题解决掉，那就没事了”的想法。我认为，解决问题的方式是持续探索究竟发生了什么，以及通过与 frontier（前沿）进行互动来推进理解。

说到中国，safety（安全）会成为一场全球运动吗？就像你们在一些会议中已经有某种程度的合作那样，通过……是的，

当然，很多不同国家都在做这方面的努力。我对中国的相关工作不算特别熟悉，但中国毫无疑问也有相关努力；在许多不同国家，都有很多 AI safety（AI 安全）研究所或 AI security（AI 安全/安全保障）研究所。所以，UK 很明显是最早成立 AI safety、现在称为 AI security institute 的国家；不过 Singapore 也有一个。US 有 Casey，它承担着类似的职能。还有许多其他国家也都在建立这类正在发展中的研究机构。

这个问题显然已经得到了全球范围的理解。现在，我确实认为这些事情在某种程度上会受到政治逆风的影响。事实上，AI safety（AI 安全）或 AI safety summit 被改名为 AI action summit 之类，这件事其实有一定象征意义，可以看作是衡量当下世界政治温度的一种方式。但与此同时，我也认为，很多正在开展的工作在性质上仍然非常相似。真正的一线研究人员以及他们所做的事情，这些组织中的人一直都在持续开展出色的工作，持续推进前沿，去理解如何评估、如何评价系统，如何为它们提供保护，所有这些事情都在持续发生。

而且我认为，优秀的工作正由 company（公司）里的研究人员、学术界以及这些 institute（研究机构）和其他机构里的研究人员共同推进。

好的，很棒。那么，在我们进入这些东西具体如何运作的更技术性的部分之前，先来聊聊你本人。我们刚才已经提到过，你身兼数职，不过还是从最开始说起吧。你开始做 machine learning（机器学习）的时间，算是整整早了一代人——远在它变得“很酷”之前。你是怎么一步步进入这个领域的？

对。我觉得，几乎所有取得了一定成功的人，一开始很大程度上都靠运气。我当时是 Georgetown University 的本科生，其实原本打算在本科主修 philosophy（哲学）。我从小成长过程中做过很多 computer programming（计算机编程）之类的事情，但真正去上大学时，我想的是，不，我想学一些哲学。实际上我是双学位。

我是 philosophy 和 computer science（计算机科学）的联合专业，而且我至今仍觉得这越来越相关了，对吧？比如 Kantian ethics（康德伦理学），对吧？很高兴我学过那个。不过也正因为我当时并不打算只做 computer science 专业，所以我晚了一个学期才去上 computer science one 这门课。结果刚好，第二学期教那门课的人，后来成了我本科阶段的导师。

他叫 Mark Malouf，是 Georgetown 的教授，而他碰巧就是做 machine learning 的。所以还是那样，因为我进入这个项目比较晚，而我们在那里学的很多东西我之前已经自学过不少了。于是我下课后去找他说，嘿，我之前做过很多这类东西，也学过很多 computer science，是否有什么 research（研究）项目我可以参与？他说，可以，当然，我做的是 machine learning。然后他给了我一个问题，我在大一那个暑假实现了一个 Q learning，其实那是件挺有意思的事。

但在那之后不久，我开始研究一个叫 concept drift 的问题，并且在本科期间发表了我的第一篇论文，是在 2023 年。后来我就一直在这个领域里了。再之后我去了 Stanford 读 graduate school（研究生），并在那里跟随 Andrew Ng 工作。

基本上——而你说得对，那个时间点正好卡在临界点上，就在……之前。

对，我算是 Andrew 门下最后一个不做 deep learning 的人。在 deep learning 变得火起来之前，我很固执地坚持做自己原先的方向。所以那些更年轻的研究生，比如 Kwok、Lei、Richard Socher 这些后来几乎成了 deep learning 代名词的人，当时都转过去了，而我是最后一个还没转的人。我那时做的是比较经典的 optimization（优化）、一些 robotics（机器人学），还有一些 control theory（控制理论）的东西。所以我算是老一代的研究生。

我的意思是，直到我开始做 faculty（教职）工作之后，我才真正开始做 deep learning。不过那已经是 2012、2013、2014 年了，从很多角度看都算是入场很晚了，对吧？我开始做现在被宽泛地称为 deep learning 的东西，然后很快又开始研究 deep learning 系统的 robustness（鲁棒性）。也就是某种 adversarial（对抗性）意义上的研究，去理解这些系统在 adversarial 环境下的表现。而这后来基本塑造了我此后整个研究轨迹。

我想我在什么地方读到过，说你中间还去 OpenAI 待过，比如 2015 年左右之类的。

我当时在——这事挺有意思的——我应该是在 2015 年 NeurIPS 上参加了 OpenAI 的 launch party（发布派对）。我当时在那儿——

你当时在那里是做什么来着？

我之所以在那儿，是因为我当时想拉那里的一些研究员——也就是我认识的一批人，我是说，作为研究生成长起来的过程中我就认识他们了，对吧？你会认识很多后来最终去创办那边的人。所以我当时正想让 John Schulman 和 Andre Carpathi 都来申请 CMU 的 faculty 职位。我想弄清楚他们现在什么情况、会不会申请、接下来打算怎样。结果他们说，不，我觉得我可能要去做这个 startup（创业）项目了。

我就这么听说了。后来我也和 Ilya 聊了，他也是那个意思，就像在说，对，确实要做。然后事情就很明显了：这些其实都是同一件事。所以我就去了他们办的 launch party，挺有意思的。我也祝他们一切顺利。

此后不久我其实还去访问过一次，聊了聊我自己的一些研究，但除此之外，我当时并没有以任何实质性的方式和他们发生联系。

你当时有没有感觉到，这件事会变成今天这个样子？这种雄心一直都在，对吧？

这种雄心一直都在。Ilya 也一直是个很有雄心的人。那里很多人也始终都极其有雄心。坦白说，他们看到了我当时没有看到的东西。不只是 OpenAI 里发生的一些事，连更广泛的整个领域里发生的很多事，也一直让我不断感到惊讶，对吧？

到后来我开始觉得，天哪，不能再这么一直惊讶下去了。也就是在那个时候，我算是稍微更“AI pilled”了一点，对吧？但我觉得，关于早期的 OpenAI，我记得最有意思的一点是，他们一直押注于 scale（规模扩展）。在当时，我觉得这种想法是很被怀疑地看待的：好像你认为，我们其实已经拥有了所有方法，接下来要做的只是把这些方法不断 scale up（扩大规模）。这种思维方式当时并没有渗透到 academia（学术界）。

学术界当时仍然痴迷于“我们需要新方法，我们需要新路径”，认为那才会带来 AI 系统的突破。因为在很长一段时间里，从某种意义上说，也的确似乎是这样。Rich Sutton 有一篇非常著名的文章，叫做 The Bitter Lesson，某种程度上就是在论证这一点。不过他其实也不喜欢 LLMs（大型语言模型），他觉得 LLMs 实际上还不够符合“Bitter Lesson”。所以我记得，当时那种真正围绕 scale 的哲学，我现在回头看，像 Greg 这样的人——还有 Greg 和 Sam——其实都非常非常认同。