AI Vibe Check: Lab Wars, Why APIs Might Vanish & Future Predictions

我是 Jacob Efron，这里是 unsupervised learning。过去几个月我们新增了不少订阅者，所以想先欢迎大家来到这档节目。我们的内容基本上就是和 AI 领域最敏锐的一些头脑深入聊聊当下正在发生的一切：什么是真的，接下来会发生什么，以及这个领域将走向哪里。今天这一期也是我最喜欢的节目形式之一——和来自 Datalogy 的 Ari 一起做一次 AI vibe check（氛围检查/现状盘点）。

Ari 曾是 DeepMind 和 Meta 的研究员，现在在运营一家非常令人兴奋的 AI startup；还有 Radical 的 Rob，Radical 是非常优秀的 AI venture firm（风投机构）之一。我们三个人聊了当今 AI 世界里正在发生的各种事。我们当然谈到了 Fable，也谈了它发布后的市场反应以及 model（模型）能力。我们还聊到了我们距离 RSI 到底还有多近。我们也抛出了一些相当火辣的预测，包括随着 compute（算力）紧张持续加剧，各家 lab（实验室）可能真的会砍掉自己的 API 业务。

总之，今天最核心的话题我们都聊到了。能和两位朋友、也是 AI 领域的优秀头脑坐下来一起聊，真的非常有趣。我觉得大家会很喜欢这一期。闲话少说，下面就是我们的对话。又到了新一轮 roundup episode（盘点节目）的时间。

我一直都很喜欢和你们一起做这个，Ari 和 Rob。我感觉上一期我们聊得特别开心，但，天啊，这可是 AI 世界，事情变化太快了。我觉得我们上次坐下来聊，好像还是在 NeurIPS 之后，而从那以后，我们已经看到了 IPO filing（IPO 申报）。还有，你知道的，一些 model（模型）先是不发布，后来又发布了。

还有，你知道的，SpaceX 都快变成一家 AI infra（基础设施）公司了。可以讨论的 headlines（头条）真是一点都不缺。所以非常高兴你们两位能再次回到节目里。

很高兴来到这里。

对，谢谢你邀请我们。

那我想就从这里开始吧。你知道，在 AI 世界里，六个月都算得上是沧海桑田了。所以我想先从最高层面问一个问题：自从我们上次聊完之后，在你对整个 landscape（格局）的看法里，最大的那个变化到底是什么？Ari，也许先从你开始。

对。我的意思是，我觉得过去六个月里最明显的变化，就是开始看到 coding agents 真正开始能在更长的时间跨度上工作了，对吧？我觉得在我们上一次录节目——也就是在 '25 年末——的时候，这才刚刚开始出现。

感觉大家圣诞假期一回来，都在想：天啊，这些东西居然真的能用。

对。而且我觉得，这开始说明确实存在这样一些门槛：一旦跨过门槛，它的价值就会大很多。显然，这也推动了 token 支出的暴涨，以及整个 token maxing 这种想法，还有诸如此类的事情。不过我觉得，我们现在真的开始看到一种转变：至少工程师们几乎都在从 ICs（individual contributors，独立贡献者）转向 agent 的管理者。比如在 Datalogy，过去几个月里一个非常明显的现象就是，越来越多的人开始在管理不同的 agents 之间进行 context switch，而不再只是埋头做某一件事。

而这之所以成为可能，是因为这些 agents 现在能够运行足够长的时间，并且确实能在各种方面发挥作用。

我是说，大家都喜欢问像你这样的顶尖 AI 研究者：它到底让你的工作效率提高了多少？

我觉得这很有意思。它在某些方面确实让你高效了很多，对吧？但同时也带来了很多挑战。比如我们现在在挣扎的一件事是，如今要产出大量“能完成某件事”的代码变得容易多了。但与此同时，你会面临一个相当巨大的理解鸿沟，而且也更容易把 swap 塞进你的 code base 里。

所以它肯定让我们更高效了。不过我觉得很多时候，那种 headline numbers 往往会被高估，因为它没有把一些后续成本算进去，比如我们现在在 review 上出现了很大的瓶颈，而且我们也不想完全走到那种“哦，你就让我的 agent 去 review 你的 agent 的输出吧”，你懂吧？瓶颈看起来只是转移了位置。

你知道的，也正因为这样，要改进整个流程并不容易。你那边呢，Rob？

过去六个月里出现了一些早期迹象，让我开始怀疑 open weight AI 是否还能继续在这个生态中作为一种真正有意义的力量存在下去，至少在接近 frontier（前沿）的层面上是这样。

这算是直接对 Ari 的 open weight 要害下手了，一上来就这样。我喜欢。

对，是这样。对。我们可以再更详细地展开讲，但我觉得，几个月前或者说过去这几年里，我的一个基本判断一直是：closed source（闭源）的 proprietary models（专有模型）会推动 frontier 向前发展，而这背后有很多结构性原因。但 open frontier（开放前沿）只会落后几个月，这个差距也许会稍微拉大一点。我不认为它会完全缩小，但我原本觉得这个差距会持续存在，而且总体上会相对较小。

而我觉得现在已经出现了一些迹象：near-frontier（接近前沿）的 open weight AI 似乎确实存在一种彻底掉队的风险。我认为 Meta 过去一直是西方 open weight 阵营的代表者，但现在它正在收缩，而且看起来很可能不会继续坚持他们的 open source（开源）策略。再往近了看，显然一直是中国的实验室在推动最先进的开放研究，但现在也有很强的迹象表明，他们可能也在从这条路上后撤。不管是 Quen、DeepSeq 还是其他团队，他们性能最强的模型现在都开始作为 proprietary 模型放在 API 后面，只把更小、性能更弱的版本 open source / open weight 出来。

我认为这背后确实有很现实的 compute（算力）激励因素。因为为这些 open weight 模型提供服务而又没有收入进来，成本实在太高了。我也认为其中有地缘政治和竞争层面的考量。但设想这样一个世界还是很有意思：如果你想要真正 frontier 级别的 artificial intelligence（人工智能），你就必须向某家公司付费购买 proprietary model，而不是能够自己拿到 model weights（模型权重）。

或者说——但 build your……我其实同意这一点。我再问你第二个问题，我刚才想到的另一个点是，到底是什么变了。我不认为我们看到 open weight 模型的能力，或者它们能力提升的趋势线，发生了什么重大变化。实际上，如果有变化的话，我觉得双方反而开始趋同了，而且这种情况还在继续。不过我确实认为，围绕构建和发布 open models（开放模型）的经济决策，在过去六个月里肯定已经变了，而我觉得这其实正是 Rob 真正想表达的意思。

而且我对未来 open models 的数量明显更悲观了。之前看起来像是，到了 2025 年，open models 会形成一种只增不减的“丰饶之角”。但我觉得现在我们已经很明确地开始看到，我们可能已经到达了 open models 数量的峰值，接下来只会越来越少。因为这里面的 financial incentives（财务激励）根本说不通。你在还没有建立 credibility（信誉、市场认可）的时候，投入大量资金去做这件事是有道理的。

但过了那个阶段之后，你就会想开始卖自己模型的 hosted inference（托管推理）服务，而把它完全开放出来其实就是在彻底削弱自己的生意。所以我觉得，接下来我们会看到其他中国实验室也先推出大型 open models，但在获得足够多的报道和 PR（公关曝光）之后，大概率也会再把它们收回去。有没有一种……

开源模型公司的 business model（商业模式）是什么？还是说它实际上就只是 marketing（营销）——你知道的，在你通往 frontier（前沿）的路上用来做宣传；然后一旦你真的已经接近前沿，就几乎不可避免地会想转向 close source（闭源）。

说实话，我不认为有这种商业模式。你知道，人们已经尝试过不同的做法，比如有点像 freemium（免费增值）、enterprise（企业版），还有像 Red Hat 那样的模式。但我就是不觉得这在 AI 里行得通，因为首先要达到 frontier 或接近 frontier，就需要极其巨大的前期投入。看看之后会怎样吧。我们很快可以再回来重新讨论这个问题，不过我非常好奇，比如首先，等 Reflection 发布模型时，他们会打算为它采用什么样的商业模式。

不过是的，我仍然怀疑，对于 OpenAI 开源 AI 来说，是否真的存在一种很好的商业模式。

挺有意思的，因为我本来正想说，我们实际上在过去一两个月里看到的一个趋势是：终于，长期以来，我觉得大家一直都在说，凡是较小、更便宜的开源模型能够胜任的任务，所有人都会去用这些模型。可是你知道，之前绝大多数的 usage（使用量）和 tokens（token）似乎仍然都集中在 frontier 上，继续把能力往前推，去弄清楚模型在不同行业里到底能做什么。然后现在我终于感觉到出现了一股转向：天哪，这些账单真挺贵的，或者说 usage 已经很高了。要是能有更便宜、更快、更小的东西可用，不是很好吗？但有意思的是，这种变化发生的同时，我们也确实正在看到——那些闭源模型正在进一步拉开与开源模型的差距。

Ari，我知道你花了很多时间思考这些事情。像这种似乎同时发生的、彼此对冲的力量，我们该怎么理解？

对，我的意思是，首先，我确实已经看到了很多你刚才说的前一种情况。挺有意思的。我们所处环境里的极端 compute（算力）受限、尤其是 coding models（代码模型）能力的上升，甚至还有你知道的，不同版本发布之间模型在 token efficiency（token 效率）、output token efficiency（输出 token 效率）上的变化，这些因素叠加起来，导致很多原本很满意使用 frontier 模型的公司，突然之间——哪怕只是从 Opus 4.6 到 4.7——token 效率就出现了很大的差别。

结果很多人的账单几乎一夜之间就翻倍了。而现在，尤其是在和很多 enterprise（企业）交流时，我开始看到他们非常强烈地希望削减使用这些模型的成本。我觉得一年前这种情况远没有现在这么明显，因为那时模型的使用规模还没大到让这些成本变得足够有意义。但现在它们确实已经到了那个程度，成本已经足够重要了，而且因为模型会思考很久，你的预算消耗速度会快得惊人。这正在推动大量需求：好，那我们怎么才能把这件事做得便宜得多？

我认为，用 open models（开源模型）也能在很大程度上做到这一点。比如我觉得一个非常值得注意的事情是，很多人只是通过在开源模型外面加上 scaffoldings（脚手架式封装），就能复现 Mythos 所用的、相同或相近水平的 vulnerability finding（漏洞发现）能力。我觉得这也是另一个巨大的变化：现在模型不再只是模型本身了，而是模型与 harness（运行/测试框架）以及 scaffolding（脚手架封装）的结合。很多创新正发生在 harness 和 scaffolding 这一层。

我认为，这也可能是 open source model（开源模型）形成 business model（商业模式）的一种方式。你把模型 open source，但不把 harness（框架）里的 scaffolding（支撑层）开源，然后再提供一个 API，让人们可以访问完整系统。我觉得这可能是行得通的。Kimi 某种程度上就在这么做，对吧？比如我记得 Moonshot 通过 API 和聊天界面，ARR（年度经常性收入）大概已经做到几亿美元中的几亿美元区间，而这在某种程度上就是他们正在做的事。

所以我认为，我们会继续看到强大的 open models（开放模型），但数量可能会越来越少。我觉得这会促使很多人开始思考：在一个不再有可靠 open models 的时代，我们该如何生存？而我认为，这会越来越推动人们真正开始考虑：好，我怎样才能确保自己具备某种 build a model（构建模型）的能力，具备维护模型的能力，并且能够可重复地做到这一点？我觉得这也是 NVIDIA 一直通过 Reflection 等项目大力推动、希望西方拥有 open model providers（开放模型提供方）的一个重要原因，对吧。

对。我的意思是，当然，对他们来说，model providers（模型提供方）越多越好。这很有意思。我的意思是，这几乎让人感觉，你在 Meta 身上其实已经看到了这种情况的早期体现，对吧？就是在早期，他们会觉得，如果这件事由一批并不是他们自己的公司来控制，那从商业角度看基本上是行不通的。所以他们会想：哪怕我们不会成为领先的 model provider，仅仅为了我们自己的业务，我们也必须在这里有点东西，才能保持竞争力。

比如，我们得有一个我们自己也能拿来用的东西。

如果你是一家可能因此受到威胁的公司，那你基本上有两个选择。第一种选择是去和一家 frontier model provider（前沿模型提供方）合作。你把自己的数据和领域专长分享给他们，他们用这些东西和你一起改进模型。也许你还能签一些协议，为这件事争取某种长期确定性，但最终他们还是会把你挤掉，因为你已经交出了自己任何 proprietary advantages（专有优势）。

唯一的另一个选择，就是你真正围绕自己所专注的 niche（细分领域）去竞争，围绕你所拥有独特能力的地方去竞争。我觉得我们现在已经在各个领域看到这种趋势了，对吧？看看 Cursor 发生了什么，再看看很多其他公司发生了什么，他们正在意识到：好吧，我们必须某种程度上摆脱这条路。这里面还有一个 margin（利润率）视角，对吧？因为从根本上说，如果你是在和一个 margin 比你更好的人竞争，那就很难赢。

是的。他们给自己的价格条件，永远都会比给你这种叠加在上层的 app company（应用公司）更好。Rob，Rob，过去几个月里那种“apps are cooked”和“SaaSpocalypse”的说法，你整体上的反应是什么？

对，这很有意思。我觉得 market narratives（市场叙事）常常会朝某一个方向摆动得太厉害，以至于很多细微差别都丢失了。所以我确实认为，有几件事是同时成立的。比如，我确实认为，很多传统 software companies（软件公司），甚至一些品类本身，确实因为 Frontier Labs 以及它们的 product road maps（产品路线图）而面临真实的生存性风险。

所以我认为，很多那种 rerating（重估）其实是理性的。我觉得有很多拥有庞大营收和庞大客户基础的大公司，基于 OpenAI 和 Anthropic 的执行与表现，确实遇到了真正的麻烦。但我也认为，这肯定也有过度反应和过度抛售的成分，而且是一刀切地把很多东西都算进去了。我觉得，在我们 venture capital（风险投资）这个领域里，当前一种相当主流的叙事确实是：apps（应用）太难投了，离它们远一点。

像 deep tech（深科技）、hardware（硬件）之类的方向，在过去几个月里都变得更有吸引力，也更接近市场共识了。再说一次，我认为这里面有很多东西确实是真实成立的，也有很多 deep tech 的细分类别让我非常兴奋，我们也确实都在投资，我相信后面也会谈到。但我也仍然认为，从根本上说，不可能只有一两家或三家公司赢下世界上每一个重要市场和每一个重要类别。没有任何一家公司能拥有那么广泛的影响范围，还能在如此宽的战线上都执行得极其出色。所以，当然有一些类别里，我会押注 OpenAI 和 Anthropic 处于非常有利的位置，而 coding（编程）显然是第一个。

还有其他一些领域我们可以展开聊。我认为，那些 horizontal（横向）、cross-cutting（跨领域）的方向，才是这些 labs（模型实验室）最应该聚焦和进攻的地方，而不是去做什么面向 pet stores（宠物店）的 vertical software（垂直软件）之类的东西。

不是。我确实会想，VCs（风险投资人）是不是正在把自己逼进一个“做也不是，不做也不是”的角落。如果你只打算去投 pet stores 这种方向，因为它对模型来说足够小，那我也不确定这最终会不会变成一个特别有意思的终局类别。对吧？但事实是，不管你在 AI 世界里看向哪里，这些核心问题本质上都绕不过去。

就是说，并不存在那种真正的“躲开一切”的地方。我的意思是，也许你可以去投一个 data center（数据中心）builder（建设商），然后想的是：我们就建数据中心，反正总会有需求。但即便如此，你还是得想清楚，和另外那 10 个会为了同一个地块、靠激进融资来竞争的人相比，你凭什么能成为更好的数据中心建设商。

毫无疑问，我们正处在一个不确定性和波动性都达到高点的时期。而且，是的，我完全同意你关于 hard tech（硬科技）的观点。再说一次，我的确相信，在 hardware 和 deep tech 的一些类别里，现在确实正在发生很多有意思的创新，也存在很多非常令人兴奋的机会。但是，正如你说的，hard tech 也确实非常非常难。它的失败率高得多，还有很多未解决的问题。所以我认为，在接下来的几年里，这条路上会有很多痛苦，也会烧掉很多钱。

然后，是的，关于 application（应用）这一侧，我觉得就像你说的，那最后一公里里依然有巨大的价值。而且这些 labs 也开始尝试把工具链搭起来，建立这些 deploy code，并且更积极地切入 implementation（实施）这一侧。但我认为，仍然会有很多细分空间和机会，让那些交付应用的公司同样能够成功，也能够继续增长。

我还觉得一个有意思的问题是：说到底，startups（创业公司）真的会赢吗？对吧？那为什么 Google 当年没有把所有事情都做了？对吧？从根本上说，一家体量巨大的公司很难同时把很多不同的事情都做好。

比如说，你知道，对此的一个反方论点其实就是 OpenAI 关停或暂停了类似视频方向的投入，这一点确实让我很惊讶。考虑到他们实际上近乎无限的资金获取能力，也考虑到他们实际上、你知道、近乎无限的人才储备。而且他们在那边原本有一支很强的团队在负责这件事，但他们还是不得不在这里做出艰难取舍。现在其中很大一部分原因，根本上很可能还是由 compute（算力）约束驱动的。视频训练相对于文本训练要昂贵得多，等等。

但这也说明了，他们不可能什么都做。

他们需要聚焦、精简战线，然后把重点放在收购 TBPN 并把它整合进公司这件事上。

我实际上听说的是，他们听了我们上一期节目，也看了你的文章，然后他们就觉得，哦，Rob 在预测 Sam 要出局了。就像，这个、你知道，这个相当劲爆的预测真的戳中了我们的心，所以我们确实得确保避免这种情况发生。现在一年过了六个月，你对这个预测感觉怎么样？不过我想你还有六个月时间可以证明自己是对的。

以今天这个时间点来看，也就是 6 月中旬，比起我当时跟你们分享这个预测的时候，它看起来可能性大得多了。这件事一直很有意思，是的。我的意思是，当我——对——当我在 12 月抛出这个预测时，我感觉所有人都在说，你在说什么？这完全没道理啊，包括你们也是。

你们当时是说，哦，这挺有意思的，但看起来不太可能。然后，是的，不用说，今年整体的 vibes（风向、氛围）已经转而不利于 OpenAI 了，而且大家也开始意识到一些事情。而在去年的这个时候，大家还会说，哦，OpenAI 什么都在做，他们真是一家了不起的公司。

他们会在 chips（芯片）、data centers（数据中心）、robots（机器人）以及一切领域都赢。现在，我觉得如今大家已经意识到，哦，我们确实需要聚焦。我认为，Sam 领导方式中的很多方面都越来越受到质疑。我觉得 Elon Musk 的那场审判，尽管 Elon Musk 输了，但我认为那件事还是损害了 Sam 的声誉，以及他的可信度，诸如此类。所以，谁知道呢？

这在年初是一个很有挑衅意味、而且我也有意把它设定为概率偏低的预测。我会说，这件事的概率肯定上升了。一个已经发生的变化是，在我当时提出这个观点并把它发在 Forbes 时，我的假设是 Fiji 是最明显、最可能的接班人，而且某种意义上正在被培养成下一任 CEO。但显然，由于一些健康方面的担忧，她现在不得不退后一步。所以我认为，关于接班人会是谁这个问题，现在已经不一样了。

我觉得，其实，我认为这个理论——我相信你们肯定也听过，最近围绕 Bret Taylor 传得很广——是相当可信的。对不熟悉的人来说，Bret 是 OpenAI 的董事会主席、Sierra 的 CEO，也是 Silicon Valley 最受尊敬、最受推崇的领导者之一。而我觉得，说实话，OpenAI 收购 Sierra、并让 Brett 出任 CEO，这件事非常说得通。我坦率地认为，这也符合 OpenAI 股东的最佳利益。就刚才关于市场风向的讨论而言，在 IPO 前夕，整体氛围确实已经明显从 OpenAI 转向 Anthropic；这是一种决定性的变化。我认为这对 OpenAI 来说可能会是一个彻底改变局面的转折点，因为人们信任 Brett、尊重他、欣赏他，也认为他是一位令人敬佩的领导者。

我觉得，如果像他这样的人来掌舵 OpenAI，会极大改变它的运势。所以，总之，接下来再看吧。离最终结果还有好几个月，但我不知道，我感觉这件事也许真的会成真。我们再看看。

我还觉得，现在 OpenAI 走向一种类似 Alphabet 的结构，这个想法整体上看起来也更可信了，尤其是他们转成 holding company（控股公司）之后。也许 Sam 会继续担任这家 holding company 的 CEO，然后再由别人接手 OpenAI，或者 ChatGPT 也许会变成一个独立产品，或者类似这样的安排。我觉得这也讲得通。

对，是的。我的意思是，你刚才提到了这一点，但显然，我感觉过去这几个月里，主导性的市场氛围就是：Anthropic 正处在一波几乎前所未有的强势上升周期里，这看起来真的很惊人，对吧？我觉得，他们基本上已经吸走了所有关注度，可能也是我们见过的、市场共识最集中押注的一家公司。

而且很明显，这在很多方面都是以 OpenAI 为代价的。也许你开始能看到一点点裂痕了，比如这周围绕 Fable 发布后的一些反应。但我很好奇你们两位的看法：你们觉得这会是一个持续下去的风向趋势吗？还是说，像我们文化里的很多事情一样，接下来三到六个月里，这两家公司之间的运势终究会出现某种反弹、反转，或者此消彼长的切换？

肯定会有一定程度的反弹。任何赢的人都会遭遇反弹，对吧？我会说，这几乎算是人生常识了。话虽如此，我觉得，Anthropic 也可能开始做出一些会让人反感、疏远用户的动作。

比如，我觉得很明显，他们在限制 Fable 被用于任何与 AI development（AI 开发）相关的事情。尤其是，我认为大家最不满的核心未必只是这种限制本身，而是它是一种悄无声息的限制——

我觉得

大家真正为之恼火的就是这个，对吧？它不会直接拒绝你，不会说“我不打算帮你做这件事”，它只是悄悄把这件事做得很差，而你甚至不会知道。他们可以说这是出于 safety（安全）原因。但我会说，这个理由很牵强。看起来很明显，这更像是一个 competitive positioning（竞争定位）动作，而不是一个 safety 动作。

我认为就这一点来说，像我之前提到的，对吧，很多人用 open models（开放模型）和好的 harnesses（测试框架）就能找到 Mythos 发现的许多同类漏洞，甚至包括 zero days（零日漏洞）。所以我也认为，这件事未必存在某种独特的安全风险。但我看到的是，那些原本对 Anthropic 极其 bullish（看好）、对 Anthropic 非常正面的人，因为过去一天里 Fable 的事情，是真的被惹怒了，而且这种愤怒比我以前见过的都更强。这看起来确实像是一个明显的阶段性变化。所以我觉得，如果他们继续这么做，我们肯定会看到越来越多的人开始转而反对 Anthropic。

我的意思是，很明显，很多 open source models（开源模型）的训练，基本上都带有某种 distilling（蒸馏）Anthropic models 的成分。你觉得这会对开源社区产生影响吗？

这要看他们会不会提起诉讼，对吧？这不太可能在 China 起到限制作用，限制不了那边的人。至于 US 的模型，我觉得大家通常会非常谨慎。比如我们——Datalogy 当时为 RC 那个很火的大模型做了全部的数据整理工作，我们就非常注意，在整个过程中任何时候都不使用任何 closed source APIs（闭源 API）

对。

而且开发中也只使用 public data（公开数据）。所以，实际上，不靠那些东西你也能做出非常强大的模型。我觉得再看看他们刚发布的 MAI model，他们当时特别强调，甚至做到完全不使用任何 synthetic data（合成数据），以避免任何可能被认为是在偷偷从别的模型 distilling 的嫌疑。然后我想他们现在也说了，接下来会开始使用那些模型产生的 synthetic data 来 bootstrap（冷启动、引导）它们。不过，我不知道这会不会从根本上改变什么——只要人们还能通过 API 访问你的模型，你其实就无法阻止他们去尝试做某种程度的 distillation（蒸馏）。

话虽如此，我认为这个说法在某种程度上被夸大了。它当然有一定道理，但你仍然可以构建出很好的模型。你并不需要靠 distill（蒸馏）才能做出优秀模型。我觉得那种说法——好像任何 open model（开放模型）想追上 closed model（闭源模型），唯一的办法就是实际上去 distill 或者偷它——在我看来多少有点像 copium（自我安慰）。

我的感觉是，每次这些模型一发布，大家都会在 Twitter 上试图搞清楚到底发生了什么；而且显然，Anthropic 那边有很多人在说，嘿，这是我记忆里最近一段时间 capabilities（能力）上最大的一次跃迁。我不太确定——你自己应该也多少上手试过——但你目前的初步判断是，这次在能力上到底算不算得上是真正意义上的一次大跃迁？

我只是昨晚在 Fable 发布之后稍微玩了一下。我个人没有看出它和 four eight 所在水平相比有特别巨大的差异。不过，跟别人聊下来，大家在这件事上的看法似乎差异还挺大的。老实说，这其实挺难判断的。

我对 Fable 的看法是，我有点觉得它既算是件大事，也不算是件大事。比如，我认为它是最新发布的 state-of-the-art model（当前最先进模型）。它恰好是昨天发布的，也就是我们录这期节目前一天。但如果我们是三周后或者七周后再录，大概率我们谈论的就会是另一家 provider（提供方）的另一个模型了。不过我确实认为，至少再次强调，基于 benchmark（基准测试）和 quantitative data（量化数据）——虽说这些远非完美——它看起来相对于上一代 state of the art 的确是一次有意义的跃升式改进。我觉得这很重要，但 again，并不是因为它代表了某种不连续性的断裂。

我认为这种渐进式改进今后还会继续。但我觉得它的重要性在于，它确实削弱了这样一种叙事——虽然现在很多人已经不太这么说了，但大约一年前这种说法还很流行——那就是 pre-training（预训练）真的撞墙了，进展已经进入平台期。好像现在只能靠 RL（强化学习）和 test-time compute（测试时算力）来继续推动进步，因为我们已经碰到了某种上限。我觉得这显然不是真的。提升仍然在非常持续、非常显著地出现，而且我看不出有什么充分理由认为它们会在短期内进入平台期。

是的。我觉得在过去六到九个月里，我们都看到了很多对那种叙事的反驳。而且很明显，pretraining（预训练）并没有撞上一堵巨大的墙。

而我们现在只是在等新 chip（芯片）。

我觉得其中一部分原因也在于，naive scaling（朴素扩展）本身并不奏效。就是说，如果你把我们之前完全相同的那一套做法原封不动地拿来，再把规模乘以 10 倍或 100 倍——这大概就是 four or five 当时的目标，或者说是 Llama three、four or five b 当时的方向——那样的效果并不好。但我认为，人们从这一点里得出了一个过度泛化的结论。尤其是因为，我发现 deep learning（深度学习）里真正很有挑战的一点是：很多时候，你必须把所有细节都调对，某个东西才真的能工作。如果你大概做对了 95%，它往往会“整流”成基本上不工作的状态。确实有少数方法是比较 robust（稳健）的，但很多时候你几乎什么都做对了，最后也还是得不到真正的提升。

然后你把最后一个 knob（旋钮、调节参数）再拧一下，突然之间就出现了一个 step change（跃升式变化）。你知道，这种情况在 deep learning（深度学习）里经常发生。而这其中一个棘手之处就在于，它从根本上让 negative result（负结果）变得很难解释。好吧，你把一切都放大了，但它没起作用。

那这是因为 scaling（扩展）本身不行，还是因为你只是有一个地方做错了？这种情况经常发生。这也让人很难决定什么时候该放弃一个项目，因为你也很容易总会想：嗯，也许我再 tweak（微调）一下，这东西就能成了。而很多时候，事实并不是这样。

我想，我们大概也得谈谈这个领域里的其他 players（参与者）。我是说，Rob，我记得在我们十二月那期节目里，你说过——而且我觉得这也是我们大家共同的感受——Google 的位置非常有利，对吧？我的意思是，很显然，他们有人才，也有 compute（算力）。

感觉过去六个月里，Google 的情况并不是特别顺。你知道，如果你不同意也尽管反驳。但他们那边到底发生了什么？还有，尤其是在 coding（编程）方面，我想知道他们为什么一直没能追上来？

对。我觉得我会稍微不同意“Google 已经落后了”或者“执行得不够好”这种说法。还是那句话，我觉得这在一定程度上反映了这样一个现实：这三家 lab（实验室）其实一直都处在彼此持续 leapfrog（轮番反超）的过程中。几乎任何一个月里，都可能有其中一家拿出所谓 quote unquote state of the art model（“最先进”的模型）。

不过，对 Google 来说，确实已经有一阵子没做到这一点了。