Ep 90: AI Pioneer Jürgen Schmidhuber on the State of AI Today

听起来你觉得一次崩盘要来了。

那会是这类股市崩盘之一。

那比如说，robotics（机器人技术）呢？

Robot hardware（机器人硬件）和人体相比确实差得很远，而且人类制造的技术里，没有任何一样能和这只手相比。看起来这

远不只是个硬件问题。

但没有那样的硬件，你就不可能拥有 AGI（通用人工智能）。你不可能只靠屏幕背后的 AGI。

我们是

不是已经有点接近了？它会到来，但还需要一段时间。

Jurgen Schmidhuber 被 New York Times、Forbes 等媒体称为 AI 之父。他推动了这个领域中一些最重要的进展，而这些进展正是当今 AI 革命的核心驱动力；在 unsupervised learning 节目里，能够与他坐下来交流、谈论当下整个生态系统中最受关注的话题，真的是一种难得的荣幸。我们谈到了如今模型缺少什么，以及他认为要实现能够推动模型继续前进的 artificial scientists（人工科学家）需要具备哪些条件。我们还谈到了为什么他认为当下的 CapEx 热潮被严重高估了，为什么他对 AI 技术本身非常乐观、却对 model companies 深感悲观，以及为什么他不认为 recursive self improvement（递归式自我改进）会真正成为这些公司的 moat（护城河）。我们也聊到了 AI safety，以及为什么相比这个领域里的很多其他人，他明显没那么担心。

能有这样一个机会，坐下来和这个领域的一位传奇人物聊聊，并向他提出这些问题，实在太棒了。我想大家一定会很喜欢听听他的视角。闲话不多说，下面有请 Jorgen。那么，非常感谢你来到

这个 podcast。我对此真的非常期待。是我的荣幸，Jacob。

我觉得今天我想聊的事情实在太多了。显然，你是当前这波 AI 浪潮中许多不同方向的先驱人物。我想先从一个最高层面的问题开始：据我了解，你长期以来一直有一个目标，那就是打造一个比你自己更聪明的 AI。我们现在离这个目标还有多远？

从宇宙尺度来看，我们和我在 1970 年代第一次形成这个愿望时一样接近。所以，我们已经非常接近了。但到底是还要几年，还是还要几十年，我并不完全确定，因为真正的 AI 不只是屏幕背后的 AI——那部分现在运行得很好，而且如今已经能通过 Turing test。真正的 AI 还包括，你知道，stream 之外、真实世界和物理世界中的真实机器人、真实机械，而那部分进展就没有那么好了。

所以，现实世界里的 hardware 存在很多人体所没有的限制；而要在 human bodies 和 physical AI 方面真正与人体竞争，我们仍然还有一段路要走。

在过去几年里，当前 AI 的一些成果中，有哪些让你感到意外吗？

其实没有，至少没有像它让那些过去几十年里从未接触过 neural networks 和 artificial neural networks 的人那样让我意外。后来突然出现了一个 chat CBT 时刻，突然之间，人们开始对这个他们此前从未见过的东西产生兴趣。所以他们并不知道，大型语言模型有着悠久的历史，而支撑这些大型语言模型训练的基本洞见和算法则有着更久的历史，可以一直追溯到上一个千年。对于一个身处这一切核心的人来说，预测这一点显然要比那些兴趣完全在别处的人容易得多。

嗯，你知道吗？我肯定想聊一聊 meta learning（元学习）里的 recursive self improvement（递归式自我改进，RSI），因为我感觉这显然已经是你长期以来非常关注的重点。如今这也明显成了很多主要实验室的核心方向之一，而且你在这方面开创了不少研究。你会怎么概括我们今天在通往 RSI 的这条路径上处于什么位置，以及还有哪些问题需要解决？

所以在 1987 年，这项工作大致是在用 meta evolution（元进化）的 evolutionary programming（进化式编程）来演化出更好的程序，而这些程序又会学习如何进行更好的进化，我把这叫做 meta evolution。它在很多方面都非常 Darwinistic（达尔文式）。因此，随着时间推移，就会出现越来越好的学习算法，学会以越来越好的方式组合先前程序中的代码，从而越来越好地解决问题。然后到了 1994 年，我们有了 reinforcement learning（强化学习）技术，以及 self referential machines（自指机器）；它们基本上使用一种 universal programming language（通用编程语言）来生成对正在运行、并与某个环境交互的机器代码的任意自我修改。再到 2003 年，我们提出了一种数学上最优的方式，让一台拥有某种软件并与环境交互的机器生成自我改进。

这个环境有时会惩罚你，有时会提供奖励，而你的目标是最大化从现在到生命终点为止所获得的全部奖励之和，同时最小化全部痛苦信号之和。那台机器里先有一套初始软件，原则上，这台机器随后可以编写程序来修改这套初始软件。但在它那样修改自己之前，它首先必须进行证明，也就是说，软件里要执行 proof search（证明搜索）。它必须证明：执行这个特定程序所导致的修改是有用的，也就是与不执行这个程序这个备选方案相比，它会带来更高的期望奖励。然后它必须生成一个 formal proof（形式化证明），这就是所谓的 Godel machine。

这比我们做过的某些其他东西更不实用一些，比如 neural networks（神经网络）通过在网络自身上运行学习算法来改变自己的 weight matrix（权重矩阵）。这正是我们在 1992 年开始做的，而到现在，这或多或少已经成了最流行的一类自我修改和自指方式。

今天，正如你刚才提到的，其中一个限制是：这些 trial（试验）的开始和结束通常还是由 humans（人类）来定义，而不是用某种数学方式事先判断，嘿，这个东西提前看是否真的会有帮助。我想，很明显这里的权衡在于，要做这类证明在 compute（算力）上会非常昂贵，对吧。那当你展望通往 RSI 的路径时，你觉得它会涉及这种事先做证明的能力吗？还是会更偏向于修改 weights（权重）？或者会是什么样？

我想问的是，你觉得答案落在这两类方案之一中的可能性大概各占多少百分比？

对。所以我会说，当前大多数自我改进系统，其实都是 2003 年那个在数学上最优的 Godel machine 的缩减版、弱化版。它们更像我们更早做的那些 neural networks：你有权重，而一个 neural network 的程序，本质上就是那个程序的 weight matrix。然后有某些类型的 neural networks 是 general purpose computers（通用计算机）。比如 recurrent networks（循环网络），它们就是通用计算机，因为在一个 recurrent neural network 上，你可以实现像你的 Apple laptop 那样设备里的处理单元。

所以，如果你有某些指令允许你修改权重本身，那么你基本上就可以在这个网络上运行任意 learning algorithms（学习算法），而这个网络必须能够看到输入进来的 errors（错误）或 negative reward signals（负奖励信号）。所以这些信号必须成为输入的一部分，这一点至关重要。这些就是我们在九十年代初做的全部工作。而在当时，compute 的成本比今天高出 10,000,000 倍，所以我们只能做一些非常小的 toy experiments（玩具实验）。但到了今天，你已经可以非常清楚地展示，这类方法能够学会泛化，并且比没有这种 meta learning capacity（元学习能力）的系统更快地学会新任务。

而这目前是进行 recursive self improvement 最流行的方法。不过，人们必须承认它是有限的，因为这里的 learning algorithm（学习算法）是通过 gradient descent 发明出来的。所以一切都是可微的，然后整个网络通过 gradient descent 来产生比 gradient descent 本身导致的变化更好的速率变化。对。对。

所以它带有 gradient descent 的局限性，因此它并不是那种最优的“好机器”，但它在实践中确实运作得非常好。

我觉得，人们围绕 recursive self improvement 的一个大问题是：事后回看时，这会不会让人感觉，哦，这其实只是一个渐进而乏味的改进过程；还是说，在地平线附近会出现某种巨大的不连续性，让模型的能力突然起飞？你对此的直觉是什么——等我们真的走到那一步、再回头看时，会是什么样？

从宇宙尺度的视角来看，它看起来就像一根棍子一样陡直：之前没有 self improvement，也没有真正的 AI，然后突然就有了 AI。不过从宇宙视角来看，这对整个文明也是成立的。文明大约始于一万三千年前，而在那之前，并没有 artificial intelligence。然后，仅仅又过了一万三千年，就有了 artificial intelligence。

基本上，一万三千年前第一个拥有 agriculture（农业）和动物 domestication（驯化）的人，几乎就和第一个拥有——而且这 13,000 年的文明史，只占 world history（世界历史）的大约百万分之一；世界历史大约是 13,800,000,000 年。所以这在世界历史里只是一瞬间。事后看来会像是这样：文明的发生几乎和 AI 的出现发生在几乎同一时间，因为在过去这一万三千年里，越来越多的事情被自动化了，越来越多的农业被自动化了，越来越多的人类劳动被自动化了。而在某个时刻，思考也开始被自动化了。

几百年前，最早的 calculators（计算器）出现了；然后 calculators 变得越来越便宜，也变得越来越快，而现在，用同样的价格，你能完成的计算远远超过一百年前。然后突然之间，它就在那里了。现在，从这种全球视角来看，真的就像之前什么都没有，突然之间就有了很多东西。而从一个生活在那个时代的人的视角来看，这一切则显得经历了很多过程。

我想，RSI 的一个希望，大概是，随着时间推移，它也许会变得 end intensive，从而真的能够继续推进其中一些发展。所以我想我们只能拭目以待，但我觉得那确实是其中一个希望，对吧？

对，绝对如此。而且每当你谈论 intelligence（智能）时，你基本上谈的就是 laziness（懒惰）。一个有智能的存在会想要偷懒，会想用尽可能少的努力、尽可能低的能量消耗，去达成它要做的事情。所以我们所有的 self improving systems（自我改进系统）都会因为高效而获得额外奖励。换句话说，它们每次唤醒一个 neuron（神经元）、使用能量去唤醒那个 neuron，或者使用能量去做其他事情时，都会承担额外成本。

所有成本——计算成本以及其他能量成本——都必须被纳入我们的自我改进系统所优化的函数和目标函数中。对。只要它们在这方面做得足够好，它们就会用越来越少的资源来完成同样的事情，包括计算资源和其他资源。所以，智能行为的一个自然结果就是：无论在做什么，都会做得越来越高效。正如你

在思考 AI labs 里更广泛正在进行的工作时，我是说，很显然，大量资金和 compute（算力）正投入到这些 labs 所追求的一系列研究问题中。我在想，如果由你来运营其中一家 lab，或者我想你肯定也和那边的一些人聊过、甚至给过他们建议，你觉得他们今天有哪些事情应该做得和现在不一样？

所以今天，你会使用那些已经训练好的大型系统，也就是 large language models，它们已经读过大量关于 coding 的论文。

当然。

现在，使用这类 pre trained model（预训练模型）的一种现代方式是：让它先去写一些代码，然后你只改进它写代码的方式，或者让它重写自己代码的方式。所以这已经是一种相当明显的做法，而且有不少 labs 对此正好非常感兴趣。当然，你必须设置 safeguards（防护措施），以确保它不会真的以一种完全愚蠢的方式去改写自己的代码，结果把事情变得更糟而不是更好。不过，这类问题是有办法处理的。

不，这说得通。我的意思是，我想问的是，在这方面你会不会做一些不同的事？

这是一个合理的方法。但它不是最一般化的方法，因为如果你依赖任何基于 human generated data（人类生成数据）预训练出来的东西，那么，你其实就忽略了很多其他可能性。所以看看我们当前的 large language models。它们对 humans 有非常强的偏置。为什么？

当然。

因为它们是在 World Wide Web 上的全部数据上训练的。而 World Wide Web 上的所有数据之所以会存在，唯一的原因是：至少曾经有某个人在某个时刻认为这东西从 human perspective（人类视角）看是有趣的。然后，所有这些至少被某个人认为“有趣”的材料，又被拿来训练这些系统。因此，它们就会强烈偏向 human language、偏向 humans 觉得有趣的视频、偏向 humans 觉得有趣的行为，等等。所以从某种意义上说，它们确实与 humans 高度 aligned（对齐）了。也许它们与某些 humans 的对齐程度高于另一些 humans。尽管如此，其中仍然存在巨大的 human bias（人类偏置）。

当然，如果你有一个 artificial scientist（人工科学家），它生活在某个未知环境中，并试图仅仅通过预测自己行为的后果来建立一个 world model（世界模型），然后再利用这个世界模型进行 planning（规划），那么，这样一个 agent（智能体）就必须通过自己的行动来创造用于训练该 world model 的数据。于是突然之间，你得到的就像是一个 artificial scientist：它通过自己的行动生成数据，而其中一个模型正是在这些数据上被训练出来的。这就更像 humans 的做法，像 babies 的做法。婴儿不是靠“下载整个 web”来学习的。不是。它们是通过预测自己行为的后果来学习的。

所以如果他们那样移动手指，视频就会变化；这些视频通过摄像头输入进来，而他们会学着去预测这些变化。他们就是这样学习世界的物理规律、学习世界如何运作、学习自己的手指如何运作，等等。而且，他们接受训练所用的大量数据并不在 World Wide Web 上，你知道，这些数据是通过他们自己的实验收集来的；而这恰恰是 baby 为了更好地理解自己能做什么、并为了最大化自身 reward（奖励）所需要的数据。所以现在你会看到，World Wide Web 上收集到的全部数据看起来很多，但和你通过自己的实验在外部世界中可能收集到的全部数据相比，那只是一小、一小、一小部分。因此，AI 的未来将会属于这样的系统：它们通过自己的行动，通过我在 1990 年称之为 artificial curiosity（人工好奇心）的机制，收集所有用于训练 world models（世界模型）的数据。

而这些 world models 将不会依赖 human language（人类语言），并且在很多方面都会非常聚焦于这个正在收集数据的特定 robot。当然，是的，它会与生活在不同环境中的其他 robots 交流，并吸收那些知识，从而更好地实现 generalize（泛化）等等。但是，你知道，突然之间你就会进入这样一种局面：这些系统将会少得多地带有人类偏见。

不。我觉得这很有意思。你刚才描述的很多东西，显然已经有公司在尝试构建，比如用于 material science 发现、biology，甚至 robotics 的 automated labs；还有很多人在做 teleoperated data（遥操作数据）之类的事。但显然，今天依然主要是 humans 在决定应该收集什么数据，或者在设计这类实验，并试图把结果反馈回系统里。我想，那个梦想就是拥有一个完全由 AI 驱动的 discovery 闭环，对吧？

这没错。是的。二十年前，我写过一篇关于 fun 和 creativity 形式理论的论文，讲的正是这件事。那么，一个 artificial scientist，或者任何 scientist、任何 artist、任何 comedian，在它的主要需求——比如一天吃三顿饭——都已经满足，并且还有额外时间可以做事的时候，它该做什么？你会做什么？

你会听音乐，或者也许你会自己作曲，或者你会生成艺术作品，或者你是一个 scientist，不仅仅去解决别人交给你的问题。不，你还会试着发明你自己的新问题。提出你自己的问题，而不只是回答别人给你的问题，而是发明你自己的、好的新问题。scientists 做的就是这个。而整个 science 关乎两件事，不只是拿到一个现有问题，然后投入大量时间去解决它并找到答案。

不。还包括发明好的问题。而基本原理非常简单。所以，在我看来，一个 artificial scientist，或者任何 scientist——human scientist 也一样——都是被一件简单的事驱动的：通过你自己的行动、你自己发明的 experiments，去找到这样的 data：其中具有某种 regularity（规律性）、某种 pattern（模式），是你原本不知道、但可以很快学会的。也就是说，那是你原本不知道的，但你可以很快学会，因为它正处在你几乎已经理解的边界上，位于你未知与已知之间的地平线附近。

然后你通过自己的行动、通过你的 experiments——也就是一系列行动——来生成这些 data，接着 data 就流入了。如果 data 里面有某种有趣的东西，这意味着什么？这意味着里面存在某种你此前不知道的 pattern。所有 pattern 都意味着，存在某种方式可以在空间和时间中压缩这些东西。这里我们先不谈时间，以免把事情搞得太复杂；但重点是，以一种你之前并不知道的方式去 compress（压缩）这些 pattern。这也就意味着，在你理解正在到来的这种 regularity 和 pattern 之前，你需要那么多 internal bits、hidden units 等等来对它进行编码。

而之后，在你学会看见这种 pattern、学会压缩它之后，你只需要那么多了。before 和 after 之间的差值，就是你拥有的 funds，你知道的。那只是一个 real number（实数），表示这个 scientist 现在因为识别出、意识到“哦，原来刚刚到来的 data 里存在我此前不知道的 regularity，它告诉了我一些关于 gravity 的东西”而获得了多少 internal joy（内在愉悦）。然后，这就变成了那个生成这些行动、并由此导向这些 data 的 controller（控制器）的 reward；这意味着，现在这个 controller 会被激励去生成越来越多的 experiments，去导向它此前并不具备的、关于世界的新 insight（洞见）。

它理解的一切最终都会变得无聊，然后它就会想要设计更复杂的实验。也就是说，在它摘完那些 low-hanging fruits（低垂果实、容易拿到的成果）之后，就会去做更复杂的实验。也许人也是一样：一个婴儿在很小的时候，也许一岁左右，第一次学到重力；也许二十年后，同一个婴儿已经在太阳上的 particle collider 工作，成为发现 Higgs boson 团队的一员之类的。而唯一的区别，只是实验变得更昂贵了。

我想，真正的 blocker（阻碍）是不是就在这里？也就是，当你思考什么阻挡着我们实现这种 AI scientist 时。很明显，搭建实验并实际执行实验的能力——既要价格可负担，又要能把结果反馈回 model（模型）——这是很多人都在努力做的事，但当然仍然是个 blocker。与此同时，看起来还存在各种 algorithmic（算法层面）的问题，需要先解决，才能真正搭起你刚才说的那套系统。你怎么看：要让这个 AI scientist 变成现实，还需要解决什么？以及你觉得我们多久能走到那一步？

嗯，我们已经有简单的 AI scientists 了，而且其实存在很久了。只是它们可能还没有迎来那个 chat GPT moment。那是什么时候来着，22 年，23 年？

对，22 年底。

它是建立在非常老的东西之上的。对于这些 artificial scientists，我们还没有迎来同样的 chat GPT moment；但在某种程度上，它们其实已经存在了，而且已经被用于很多专门的应用里。比如在 chemistry 里，你会有大量成对的输入和输出，然后你训练 neural network（神经网络）去预测——根据之前的输入，预测这些新的物质。随着时间推移，如果你给它看几百万个实验，它就能成为一个 artificial chemist，一个 intuitive chemist（直觉型化学家）。所以它不是那种从 first principles（第一性原理）、从 valence electrons（价电子）之类出发去理解所有反应的 chemist。

不，它只是变成一个 intuitive chemist，更懂得在 chemistry 里什么是可行的。然后你会设定一些目标。比如说，你想创造一种材料，针对某种东西——也许是某种 insecticide（杀虫剂）之类——它的效率要比目前已知最好的东西高一倍。然后你就可以说，好。

我们来设定这样一个期望输出，把“它应该比我所知道的最佳结果高效两倍”编码进去。然后你就可以反向推整个 chemist 的过程，去看输入端，并且问：为了得到我想看到的、满足我愿望的那个结果，我需要在实验中那些位于输入端、可观测的部分上做多大改动？然后这个 chemist 基本上就会给你一个建议。

你觉得在未来十年内，我们能把 AI chemistry 这件事搞明白吗？

在 KAUST，我们有一个很有意思的项目，目标是使用某些已获专利的结构，也就是所谓的 MOFs。目标是从稀薄空气中提取 carbon dioxide，这对于改善气候非常重要。目前这一切都非常昂贵，而目标是把成本降到足够低，这样你才能真正产生实质影响，也许能改善 global warming 的局面。所以这是潜在应用之一。应用其实很多，几乎遍布各种 chemistry 领域。What

那 robots 呢？你会怎么描述我们目前所处的位置，那里都发生了些什么？每个人都怀有一个居家 robot 的愿景。我们离那个目标近了吗？

我又想起在 seventies 的时候，我跟我妈妈谈起 AI 的未来，说 AI 将会殖民整个宇宙。她却说，你先给我造一个能打扫我厨房的 robot 吧。

这是个由来已久的梦想。

对，完全没错。那时候做不到，现在其实还是做不到，因为 robot hardware 相比 human bodies 真的差太多了。而且没有任何 handmade technology，也没有任何 human made technology，能和这只手相比。这只手里布满了 sensors，数以百万计的微小 sensors，还有把它们连接到控制中心的细小 cables。

我甚至都不知道，在一只 artificial hand 里该把这么多 cables 放到哪里。更夸张的是，你伤到它，你把它割破，它还会开始自我愈合。这是超级先进的 technology。我们在人造技术里根本没有任何类似的东西。

而这也就是为什么，你知道，电影里的 robots 全都是由 humans 来扮演，因为 humans 作为 robots，要比那些 robots 更出色。

但这看起来远不只是 hardware 的问题，对吧？我的意思是，即便用我们现有的 hardware，如果我们有好的 models，我相信我们也能做到多得多的事情。

对吧？但是，你知道，没有那样的 hardware（硬件）就不可能有 AGI。明白吗？你不可能只靠屏幕后面的东西就实现 AGI。对。

你可以在屏幕后面拥有一个超人类的国际象棋选手，或者一个能通过图灵测试的东西。但如果它不能掌控现实世界，那它就不是 AGI。明白吗？它也许只不过是屏幕后面一个花哨的文本编辑器，或者某种知道这个机器人应该怎么移动之类的系统，但它不是真正的那个东西。如果你想通过真正的 AGI、physical AGI（物理形态的 AGI）来掌控现实世界，那还需要做多得多的工作。

所以，我们的机器人必须比我们今天拥有的那些受限的东西强得多。这还要多久？我们很容易预测每美元 compute（算力）会如何演进。它很可能会延续我们过去几十年看到的趋势，大致是每五年提升 10 倍，差不多就是这样。这也意味着，那些今天向 data center（数据中心）里的 GPUs 投入一万亿美元的人，在接下来的五年内将损失 900,000,000,000 美元。你知道吧？

没有任何 business model（商业模式）能弥补这种损失，这本身可能已经是在预示即将到来的崩盘。对。但是在机器人领域——对，在 robot technology（机器人技术）里——要多久才能做出某种可与这只手相比的东西？它既能进行强力抓握，又能进行非常精细的手指运动，去操控极其微小的东西，而这种能力是现在各种机器人根本做不到的。至少对我来说，这就更难预测了。

它会到来，但这可能不只需要几年时间。也许还需要再过几十年。

好吧，我确实想转到商业层面，因为你刚才说了一件显然非常耐人寻味的事，而且我之前也听你这么说过：像现在这种对 AI data center（AI 数据中心）建设的大规模投资，最终随着 compute 性能的提升，本质上是在前期投入巨资去买一个五年后就会过时、而且价值低得多的东西。对此的反驳，或者说人们会讲的是，对 compute 的需求将会是无限的；最终，我们会受限于自己生产足够 compute 的能力。也就是说，即便你手上的 hardware 已经是 legacy（旧一代）的、效率低很多，人们还是会想用它，因为仅仅为了给所有这些不同的、至少在今天还是 digital（数字）的、未来则是 physical（物理）的 use cases（用例）运行 inference（推理），需求都会大得惊人。所以即使它效率更低，或者不是最好的 compute，也像是地球上的每一块 chip（芯片）都会以某种方式被用上。你对这种说法大概是什么反应？

对，也许对 compute 的需求会越来越多，但总得有人为它买单。对吧？如果结果是，那些目前正在付钱的人其实是在亏很多钱呢。你知道吧？

眼下，有几家公司每年都在投入数千亿美元。合起来，也许是每年 1,000,000,000,000 美元左右之类的数额，投向 data center 里的 GPUs。而这些公司过去本来是灵活的软件公司，靠一个小团队改进某个城市 operating system（操作系统），然后把它推送给数十亿人，让他们用自己的手机和电脑来运行这个 operating system。可突然之间，它们开始提供 cloud（云服务）和 data center，突然之间它们不得不像 utilities（公用事业公司）那样运作，像电力公司一样，还得去投资 nuclear power plants（核电站）、gas turbines（燃气轮机）之类的东西。于是，这些公司的 cash flow（现金流）、free cash flow（自由现金流）就会从 100,000,000,000 降到 10,000,000,000，甚至对其中一些公司来说可能会变成负 10,000,000,000。

所以眼下，当所有人都在争夺 market share（市场份额）时，这些服务其实并不高效，意思是提供这些服务的人正在亏很多钱。这一点不会体现在 price earning ratio（市盈率）里，因为真正应该被考虑的 free cash flow（自由现金流）并没有反映在那里。但所有这些公司的效率都在越来越低。所以到了某个时候，他们就不得不停下来。你知道吗？现在他们还在通过举债来融资、建设更多 data centers，而这只可能持续到某个限度，之后这些公司的价值就会越来越低。

所以这是因为他们把钱投错了地方。这意味着，迟早有一天，如果你没法为所有这些服务买单，如果整个经济体都没有被构建成可以为这些服务付费的样子——因为 compute（算力）还不够便宜，而且人们还想通过购买更多 computer（计算机）来弥补——如果你处在这样一种局面里，而这种局面又无法导向一个有利润的经济，那么它最终就会因为供需规律而消失。对，laws of supply and demand（供求规律）。

我的意思是，我觉得这里面大概嵌着两个问题，对吧？一个是关于 inference（推理）本身：外面是否真的有足够多、足够有价值的 use cases（用例），让公司愿意支付远高于这些 data center 建设成本的钱？当然，就 AI coding 而言，作为第一个明显有大量 product-market fit（产品市场匹配）的市场，看起来至少已经有一些 use cases 确实达到了这个门槛。至于 training（训练）这一侧，我认为显然还有一个很大的问题，我知道你之前也谈过，我想我们的听众也会很想听听你的看法：这些 closed source model providers（闭源模型提供商）显然在 training 上花了巨资，那么这里面到底有没有一门生意，对吧？还是说，随着时间推移，open source models（开源模型）会追上来，最终——我觉得这件事确实有两面的论点——但还是很想请你分享一下，你是怎么思考这些 closed source model providers 的。

仅仅比 open source models 领先三个月或六个月，这能成为一门生意吗？

对，正如你说的，open source models 是大公司无法简单提价的主要原因之一，因为它们落后得并不远。某个商业 large language model（大语言模型）在这里打破了一个 benchmark（基准测试）纪录，但几个月后，就会有一个 open source model 追上来。这意味着定价面临巨大的压力，也就意味着这些公司投入巨资建设、并通过举债支付的昂贵 data centers 和 GPUs，目前并没有带来盈利。所以一个“愚蠢但有效”的做法其实就是稍微等一等。等五年，compute 会便宜 10 倍；你将能以十分之一的价格做同样的事。再等十年，你将能以 1% 的价格做同样的事。

但当然，大公司会说：哦，可如果我这么做，如果我等到别人先做了，那我可能就会失去 market share，或者错过第一个实现真正 AGI 的机会，诸如此类。而如果真是那样，一旦我拥有了一个能解决一切问题的真正 AGI，那我就可以接管世界，到那时，相比它的价值，现在的投资根本不算什么。但我认为，所有这些前景判断都过于乐观了，而且你大概率会看到，当前这种把大量资金投进那些还不够快的计算机的做法，最终会适得其反。

我觉得这和我们前面的讨论有关。现在似乎有一种看法：如果你能第一个实现 recursive self improvement（递归式自我改进），或者第一个拥有能让下一代模型更容易被开发出来的模型，那么事情就会进入一种自我强化的循环，使得后来者极难追上领先者。你怎么看？

不太是，因为很多对 self improvement（自我改进）感兴趣的人，都是做 open source 的人。而且大家其实用的是同样的基础条件，你知道吗？对，大家用的都是同样的基础条件。AI 里几乎所有重要的算法，都不是在大公司之类的地方发明出来的。

不，这些东西是在小型实验室里、在资金并不充裕的情况下发明出来的，尤其是 Because of self improvement 这类东西，以及与之相关的那些基本想法，都是来自小实验室、学术实验室。任何公司如果想把这些东西抓过来据为己有，都不会有 moat（护城河），因为外面还有那么多 PhD 学生对 Because of self improvement 非常兴奋。而且，这种小小的优势根本不可能维持足够久，久到让你赚到很多钱。所以我认为，大公司要想在这个行业里获得非常高的利润，会非常非常困难。