Baseten CEO Tuhin Srivastava on the AI Inference Crunch, Custom Models, and Building the Inference Cloud

各位听众大家好。今天，Elad 和我请到了 Base10（inference cloud）的创始人兼 CEO Tuhin Srivastava。我们今天要聊的是 AI compute 的产能约束、为什么 inference（推理）是最后一个市场、工作负载正在如何变化、open source（开源）以及也许会到来的 multi chip（多芯片）未来，还有一年内实现 30x 规模增长到底意味着什么。Tuhin，欢迎回来。

你好，很高兴见到你们。

谢谢邀请我。

好。你所处的是一个最疯狂的市场之一，AI inference（AI 推理）。它非常重要，而且有很多事情正在发生。你们在过去一年里增长了 30 倍。

而且我想我可以说，你们预计今年的营收会超过 10 亿美元。

嗯。

这是怎么回事？跟我们讲讲规模增长吧。

对，没错。这一切真的太疯狂了。我觉得在过去——说实话是过去 24 个月里——发生的事情，而且还在变得越来越大，就是我认为每个人都意识到，你可以把 AI 放到任何地方。现在从 closed source（闭源）到 open source（开源）model（模型），你有很多很好的选择。

open source model（开源模型）在基础能力方面已经跨过了某种临界点。然后我觉得，RRL 技术以及面向专用模型的 post training（后训练）已经足够主流了，而且，你知道，已经有足够多的成功案例证明它们确实有效。客户也逐渐意识到，他们可以越来越多地掌控自己的 inference（推理）。而这对我们来说意味着，更多模型的 long tail（长尾）正在真正出现，客户也在把大量这类智能能力放到内部自己承载。随着 application layer（应用层）变得越来越大、越来越大，而且还在持续增长，我们正好是押注在这一点上，因此也一直能够承接并汇聚这些需求。

这里有一个我觉得所有人都在不断追问的根本性问题：独立的 application layer（应用层）究竟还能否存在，还是说最终都会被 labs 取代？你必须相信它会存在。你为什么会这样相信？

对。你看。我我我觉得，如果它整体上不存在了，那会是一件很遗憾的事，我觉得这算是我的一个……不过，你知道，遗憾也没关系。这个——

我一直都挺难过的。

哦，对。难过没关系。但这这这并不是我认为 application layer（应用层）会存在的原因。我认为 application layer 会存在，有很多原因。其中一个是，因为，你知道，我认为一家公司的价值，在于他们能够收集到的 user signal（用户信号），而且那是只有他们自己才能收集到的。

如果这些东西被编码进 model（模型）里，我认为他们很大一部分业务都会面临风险；但如果这些东西被编码进 workflows（工作流）里，那才是他们能够建立 moat（护城河）的地方。我觉得一个很好的例子，比如像 Bridge 这样的公司：临床医生会对笔记进行编辑，以及他们事后如何处理这些笔记。还有在 EMR 里面再往下三步发生的事情，这就会变成一种只有——

你能解释一下 Bridge 是做什么的吗？

抱歉。Bridge，Bridge 是一种 ambient scribe（环境记录员工具），医生会在——比如说——美国几乎所有医院里使用它。我想 Lad 是投资人。Shiv 很厉害。非常棒的一家公司。

很棒的团队，很棒的产品。而且，你知道，他们基本上已经非常非常深入地整合进了医院体系以及临床医生的 workflows（工作流）里。我的观点是，实际上，frontier model（前沿模型）公司非常非常难以吞掉这类机会，因为他们就是拿不到那种 user signal（用户信号）。而随着时间推移，那些能接触到这种 user signal 的人，就可以开始基于这种 reward signal（奖励信号）对模型做 post-train（后训练），并开始让能够处理长时程任务的模型跑起来。

我认为，只要这件事是可能的，而且这种 signal（信号）是有区分度的、独特的，并且获取它的机会相对稀缺，就会出现一个 application layer（应用层）。我觉得，support company 就是另一个这样的例子：support 任务并不是 one-shotted（一次就完成）的。通常在像 BS10 这样的公司里，当一个 ticket（工单）进来时，往往会触发一、两个，甚至十个、二十个动作；而这正是有人可以去开发 specialized model（专用模型）的地方。

所以这里几乎可以分成两个版本。一个是像 Abridge、Decagon，或者你提到的其他一些新公司，它们在做这类新的应用，用 AI 来构建产品并卖给客户。另一个则是企业在内部自建这些东西，或者自己训练模型。你觉得今天的市场里，这些新应用公司和企业采用 AI 之间，大致各占多大比例？再过几年，你觉得这个格局会是什么样？

对，我觉得这是个——我想你两年前也问过我同样的问题。哦，对，在那个 Internet 的 file 上。

我只能重复了。

这实在太疯狂了。

或者说，太不一致了。

答案就是，这件事疯狂之处在于，这个答案到现在居然还是——我觉得，如果按 inference count（推理调用次数）来看，99% 还是后者。对。而这其实也体现了这里机会的规模：市场中的绝大多数还没有真正上线，也还没有把 AI 加进

系统里。Enterprise adoption（企业采用）还远远在我们前面，我认为这正是 AI 最令人兴奋的地方之一。对，后面还有太多东西会发生，而我觉得人们低估了这一点。

100。不过真正很酷的是，我们正在看到这种转变正在发生。对吧？以前更像是在问，嘿，他们有没有在用 AI 工具？

嗯。我不觉得这在两年前是立刻显而易见的，但现在我认为已经很明显了：是的，他们在用。那他们有没有在用 closed source model APIs（闭源模型 API）？我觉得他们也开始走到这一步了。我认为一旦你这样做了，然后你大概看到了什么是可能的，接下来就会进入整个 custom model（定制模型）的采用阶段。

我觉得这就是如今摆在我们前面的一切。

所以如果你们现在的大多数客户群，像你刚才描述的那样，属于前一种——比如 application companies（应用公司）、AI natives（AI 原生公司），以及那些增长很快的——我的意思是，它们中不少现在已经相当有规模了，比如 abridge、cursor

Open Evidence。

像 Open Evidence 这样的公司。它们教会了你们什么？这又会推动公司去做什么？你会如何看待服务它们这件事，以及如何为 enterprise（企业客户）方向的演进做准备？

对。我觉得，首先，和那些规模最大、在做最有意思事情的公司一起构建，你就是会学到很多。我们大概从两个角度来看这件事。一个我觉得是最明显的方式，就是为最高规模去构建，你知道的，为那些在技术上最能推动你的客户去构建，然后其他一切基本都会各就各位。我觉得 Stripe 作为一家公司的演进就说明了这一点——现在的 Stripe 服务着非常多的 enterprise（企业客户）。

但十二年前并不是这样。但他们当时就是为 frontier（前沿用户）去构建，并且某种程度上一路跟着他们走。我觉得我们思考这件事的第二种方式，是去为那些服务 enterprise（企业客户）的公司构建。所以，是的，我们并不直接服务 enterprise（企业客户），但我们的客户服务 enterprise（企业客户）。Ibrutinib、Pfizer、OpenEvenus、Decagon、所有这些，Ryta、Gamma，还有这些 Calc Clay，所有这些公司都在大规模地服务 enterprise（企业客户）。

而我们实际拿到的，其实有点像是他们需求的一份翻译，也就是，他们会说，嘿，我们需要这类 data retention（数据保留）；我们需要部署这类 web models；这是他们可接受的 GPU 类型或 latency（延迟）；还有这是他们从 transparency（透明度）角度所关心的 model requirements（模型要求）。

所以我觉得，更细致的答案其实是：如果你去听他们真正的需求，我们实际上就能得到一份完整的“企业需要什么”的翻译。比如我会说，通过服务像 Abridge 和 Open Evidence 这样的公司，考虑到它们在向医疗体系销售，以及 Latent Health 也在向他们销售，我们大概已经很适合去服务 health care system（医疗体系）了。

就 open source models（开源模型）的使用类型而言，你们看到多大程度的变化？我觉得我们已经看到一种演变：两三年前，主要还是 Mistral 以及其他少数一些东西，后来 Meta 带着 LAMA 进场，之后在不同层面上就真的发生了转移，转向那些表现不佳的模型，或者是中国来源的模型。你是否看到，这种组合变化也反映在你们客户实际使用的模型上？

对。我觉得客户，至少是我们正在服务的这些客户——也就是全球增长最快、而且非常有前瞻性的 AI 公司——他们非常希望使用最好的 model（模型），而且他们是在做优化。我认为确实有一类任务——不过今天看占比还很小——人们会真正从 cost（成本）出发。嗯。

但所有人首先看的还是 capability（能力），因为真正释放经济增长、真正交付价值的地方就在这里，然后他们才去做优化。我觉得这其实一直都是这样。所以带着这个前提来看，你提到的从 GPTOSS，到 Moonshot Mall、DeepSeeks、Canopy，或者 Orpheus——它在 text to speech（文本转语音）方面非常强——客户总体上就是想用任何处在 frontier（前沿）的东西。我认为区别只是在于：第一，我们现在对如何运行这些模型、以及如何把它们运行得非常好，有了更多可见性；第二，它们现在确实已经很好了。

关于使用 Chinese models（中国模型），外界提出了不少不同的担忧，尤其是安全问题，比如模型里是否嵌入了什么东西，是否有 Trojan horses（特洛伊木马）或其他风险。A，你觉得这里面是否真的存在实质性担忧？B，人们也经常谈到，美国应该对此有某种 counterweights（制衡力量）。从 geopolitical（地缘政治）角度看，你觉得这是合理的问题、是我们应该担心的事吗？或者你会怎么思考这个——对。

也就是，这些模型的 origins（来源）与它们的 uses（用途）之间的关系？

对。你看，我我我觉得，这些模型首先是真的非常出色。它们很了不起。我们也和这些团队合作。

它们确实非常棒。我会说，你看，这对我来说很难判断，我也可能是错的，但是，像这样说吧，如果我把这些模型限制在 network（网络）边界内，它们并不会神奇地就跨越这些 network 边界。嗯。也不会跨到 data center。而且，你知道，我并不认为——我们也从未见过任何真正的证据，除了我觉得人们很早就迅速注意到的一些非常早期的模型之外，能证明这里面被植入了某种 agenda（议程）或 bias（偏见）。

我的确认为，在某种程度上，The US 开发我们自己的模型是很重要的。我认为，如果 China 已经有五家公司、五个不同的 lab（实验室）在做 open source（开源）模型，而我们却还在艰难地想搭起一套，那将会是巨大的损失。所以这是必要的。我也认为这是不可避免的。还有，就像一年前那个 sea、那个 deep seak 时刻一样，我记得有人对我说过一句话，我觉得说得特别好，大意是，嘿。

你知道，我们应该某种程度上先忘掉，嗯，这是一款 Chinese model。我们应该直接把它当成是来自，嗯，来自 Meta，然后以这种心态去构建、去开发。嗯。

这就像是，你知道，我觉得你有点只见树木不见森林了。这里有两种情形。对吧？要么 America 始终拿不出好的 open source（开源）模型。嗯。那背后大概率就存在一个根本性问题；要么我们终究会做到，而我们需要为那样的世界做好准备。

对，这说得通。这很有意思，因为和你一样，我也认为 The US 在这里拥有强大的 open source（开源）存在感非常重要。至少从目前来看，Chinese government 实际上似乎是在补贴这些模型中的至少很大一部分，而这种 subsidy（补贴）或 surplus（盈余）实际上只是被转移给了采用这些模型的 US 企业。换句话说，这是 Chinese government 以一种间接方式，实际上在补贴 US enterprise，而我觉得这一点现在有点被忽视了。

但把这一点和其他被提出来的担忧放在一起权衡，总是很有意思。我很感谢你在这方面的评论。

对，而且我觉得担忧还在于，事情会变成这样：如果我们做不到会怎样？如果它在根本上——我是说，我觉得如果你从这里的 economics（经济性）来考虑，deep deep sea 在大多数人看来，deep seq 是一个非常好的模型。嗯。你知道？你当然可以争论它是不是绝对的 frontier（前沿）水平，但我们就回到三个月前吧，它那时就已经在那里了。所以想想每一件事——而我们在三个月前还在做很多很多事情。

对，对。所以我们就这样来想这件事吧。你知道，如果你运行 deepseq，成本可能只要在生产环境中运行 open andropic models 的 20%，而且 latency（延迟）相当甚至更好，reliability（可靠性）可能也更好。如果我们无法获得那样的 intelligence（智能）

嗯。

在那种形式下，我觉得这就是巨大的损失。对于一个国家来说，我们也将无法像现在这样快速创新，因为，随着 intelligence（智能）的成本下降，以及对 intelligence 的掌控，我们已经看到的其实只意味着会有更多 intelligence。对。也就是 intelligence 会被嵌入到更多地方。

对。这里有一个我们没有明确提到的重要说明：目前最先进的 models（模型），也就是在前沿上领先最多的那些，实际上仍然是 closed source（闭源）的，像 Anthropic、OpenAI、Google 等等。

对。一直是——其实，也许你可以大致描述一下 workload（工作负载）。比如说，在 base 10 上被提供服务的 token（词元）大概有多少，其中有多少来自某种 custom models（定制模型），相比之下又有多少是今天这种 vanilla open source（原生开源）的？

全都是定制的。基本上是，对。就是，它

是这样。所以，像是 95% 以上？

90% 到 95%。说真的，我觉得这真的很酷。我的意思是，你看，我们有两个业务。我们有——我们有三个业务。我们有——我们有三个业务。

对。我们要不要？

帮你计数吗？

不，不是。所以我们有专门的 dedicated inference，基本上就是定制模型推理（inference）。你的 SLA 就是你的 SLA。然后我们有 shared inference，配套的是共享的 inference endpoint、共享的 SLA，另外我们还有 training 业务。

我会说，今天 95% 的 token 都在第一类业务上。而且几乎所有这些客户，大概都在做——对，几乎所有客户都会基于自己的数据、针对具体 use case 对模型做一些修改。我认为更重要的是，他们还可能会用不同方式去编译它。没有人只是直接运行原版的开源权重。

比如，你可能是为了质量去做定制，但你也可能是为了性能去做定制。

你们几个月前收购了一个研究团队。你刚才提到了 post training 定制化。这次收购背后的 rationale 是什么？那个团队现在在做什么？

对。所以这次收购背后的 rationale 是，你知道，我们本质上是做基础设施和产品的人。我们是产品型的人，现在也成了非常擅长基础设施的人。但我们自己并没有太多 research 能力。我们看到市场越来越明显地朝那个方向发展，也就是我们可以通过 post training 资源——无论是产品形态的，还是哪怕只是为那个市场提供资源——来加速整个市场的发展。

所以 Parzed 是一家 base 10 的客户。他们当时在做 post training model，并且把这些模型运行在 base 10 上。我觉得他们意识到，自己最终会需要成为一家 inference 公司。而我们意识到的是，嘿，我们确实需要那种专业能力，因为这让我们能够更早地贴近客户，并且能够全面支持他们。

所以把双方结合起来就很合理。也正如我在开场时说的那样，随着越来越多 post training model 出现，我们已经意识到，无论是对用于做 post training 的 software loop 的需求，还是对 post training 专业能力的需求，都非常高，而我们正在对此进行非常、非常大的投入。另外他们还是一群 Australians。你知道，我愿意认为我们在那里也有一点 alpha。不过，总之，这次合作非常棒。

他们在和各种各样的客户合作。而且这也很有意思：一开始，你知道，我们在 performance（性能）这一侧做了很多研究，而在 post-training（后训练）这一侧做得相对少一些。随着我们开始在 post-training 这一侧做更多研究，你就会开始看到 inference（推理）和 post-training 之间联系有多紧密。比如说，甚至像 quantization（量化）这种事情，你应该在什么时候做，以及你如何训练模型，会影响你在 inference 时需要如何做量化——这些问题彼此是多么配套。嗯，这一点已经变得非常明显了。

而且越来越多地，大家会发现 post-training 和 inference 某种意义上其实是同一个问题的两面。所以因为理想情况下，inference 会催生更多 post-training：也就是 inference 会产生数据，你做 eval（评估），然后你就可以基于那些 eval 里找到的 reward function（奖励函数）再去做 post-train（后训练），并且希望最终把整个闭环建立起来。

最近几个月，很多来自 Ant 和 OpenAI 的人，Sam、Greg 等等，都说过 inference 非常具有战略意义，inference 相关人才具有战略意义，capacity（算力容量）也具有战略意义。所以把这个和 post-training 放在一起看，这些都是非常难以聚集起来的能力。对。我猜你们很多客户都会来找你们咨询，比如如何完成这条向 custom models（定制模型）迁移的路径。你们通常会怎么跟大家讲这个 life cycle（生命周期），以及他们应该在什么时候为此投入？

对。我觉得核心是：先去用 best-in-class model（同类最佳模型）验证，并向你自己证明，你手上确实有某个值得优化的东西。而且我觉得，你知道，如果有客户来找我们，当时有个 meme（梗图）我记得特别贴切，大概是两年前吧。感觉像是在说：在 product-market fit（产品市场契合）之前，先别上 GPUs。

按我现在的理解，这句话更像是：在 product-market fit 之前，先别做 post-training。对，对，对。这就是我的说法。

所以和你们在这里合作的人

都是非常非常以 scale（规模化）优先为先的。

对。他们已经有明确的 user signal（用户信号），知道该优化什么；而且他们已经证明了自己可以向客户交付价值，这种价值是成立的，并且围绕这种价值他们确实有一些特别之处。一旦你有了这种价值，接下来就是：好，那我怎样才能把这件事做得更好、更快、更便宜？背后的想法就是，嘿。

如果你需要把 customer support（客户支持）做得非常好，那你也许不需要把 coding（编程）做得那么强；对于这类问题，specialized model（专用模型）可能反而更合适，而且能做得更好、更快、更便宜。

那 capacity（算力容量）这一侧呢？你一开始提到要把所有 clouds 和 neo clouds 的 capacity 统一起来。当大家都在谈 supply crunch（供应紧张），而且还是一个会持续多年的 supply crunch 时，你是怎么思考这件事的？

我觉得，关于 supply crunch 的叙事实在太多了。而且不管我们听到多少，我都不觉得人们真正意识到情况到底有多糟。现在确实几乎没有多少空闲的 compute（算力）可用。我们自己也在运行相当大的 clusters（集群），而且利用率高得让人不太舒服。我的意思是，我们大多数时候的 utilization（利用率）都在 95% 左右，甚至更高。

现在我们已经部署在 18 个不同的 clouds 里了。我们在全球有 90 个 clusters，分布在 18 个不同的 clouds 上。最开始，我们打造这项技术，是为了某种程度上构建一个横跨所有这些不同 clouds 的统一 runtime fabric（运行时网络层），并尽量把这些底层复杂性从客户面前抽象掉，把它作为思考 reliability（可靠性）、latency（延迟）、failover（故障切换）这些问题的方式——而我们认为，对于很多 mission critical（关键任务型）的 use cases（使用场景）来说，这些都会非常重要。同样是这套技术，让我们能够在一切人类可能做到的地方拿到 compute，这对我们获取 supply 真的非常非常有帮助。我的意思是，我们可以被介绍给另一个国家的新 provider（供应商），然后迅速让它连同整套 Base 10 inference stack（推理技术栈）一起上线运行。

作为这个 fabric 的一部分。对。

纳入这个 fabric，半天就够了，也许连半天都不用。这给了我们极大的灵活性。即便对我们来说，要扩张也依然很难。我们有一个——我想，嗯，还是说吧。

我们公司每天都有一个固定在下午 4 点的 standing meeting（固定例会），基本上就是在讨论：眼下这种 demand（需求）之下，我们到底该怎么管理 capacity？我觉得第二个部分，也是人们其实不太理解的地方，是现在也有很多 suppliers（供应商）带点 grifty（投机、靠不住）的味道。我的意思是，他们以前没有运营过 data centers（数据中心），也不理解 SLA（服务等级协议），尤其是在 inference（推理）场景下更是如此。所以，即便市面上有 capacity 可用，其中也有很多——大概可以这么说，我们实际运行的远不止这点，而且我们有 redundancy（冗余），所以问题不大。

但如果你真要看，真正好的 clouds 可能也就大概十来家，其中我大概会把三四家放进 gold tier（黄金档）。我认为这意味着，我们不仅仅是 supply crunched（供应受限），在 supplier（供应商）层面和 operationally（运营能力）层面也同样受限——因为真正会运营这些 data centers 的人，也很稀缺。

你现在实际上最早能提前多久买到 capacity（算力容量）？换句话说，比如说，如果你提前两年或者五年去买，市场上还有没有什么 slack（余量）？

你是指 contract length（合约期限），还是更像“我想在 28 年 1 月拿到这个”这种？

对，哪种都行。对，对。我的意思是，更偏向于“我想在 28 年 1 月拿到这个”，至少这样我对

我未来的 supply（供应）有一些可见性。对。你可以买这个，但你也得记住，市场变化得有多快，市场变化得有多快。而且，你知道，这在某种程度上也会被平衡掉，比如 h 100 是一款非常出色的 chip（芯片）。对。

而且，然后你知道，这很疯狂。它都已经四年、四年半老了，价格居然还在上涨。对。也许它的 useful life（有效使用寿命）有九年。对。

所以，你知道，这当然是好事。但与此同时，与此同时，你知道，是的，你可以这么做，但你也确实是在做很多 bet（押注）。对。这其中的一大变化，我觉得是过去六个月里最明显的，就是人们想要的 term length（期限）明显变长了。所以如果你想要一千台 24 b 2 hundreds，嗯哼。

也就是，你知道，从一个不错的 cloud（云服务商）那里，现在你拿这个基本不可能少于三到五年的 contract（合同），嗯哼。而且现在大概率还要预付 20% 到 30% 的 t c TCV。所以，实际上，在获取 capacity（算力容量）时，真正变得重要的是：你需要有足够的 demand（需求）来消化并服务这部分供给，同时你还需要较低的 cost of capital（资金成本）；而这一点其实正在相当显著地改变整个市场动态。

这会不会影响你对公司 going public（上市）的看法？因为从某种意义上说

对。我觉得你会更早去做。对。没错。对。

我觉得你需要那样的东西，而且我觉得确实有这方面的需求。但我认为，你知道，驱动力，那个——你知道，还有一点，我们最近意识到的一件事是，我们毕竟是 software（软件）从业者，所以我们平时并不会总是这样思考。就是，你知道，我们的业务在 working capital（营运资金）需求方面非常有意思。我们并不——而且我觉得，你知道，甚至——也正因为如此，它在融资方面也有一些非常有意思的特点。对。对。

是资金需求。而且至少就现在来说，我们甚至还没有走到 debt（债务融资）那一步。

在 debt（债务）或者其他结构方面，我们其实也还可以做别的事情。对。

对，我最近学了很多关于 debt（债务）的东西。

考虑到 supply crunch（供应紧张），而 France 又是你们一直在重点推进的前两大市场之一，你们面前显然有很多人理解这个问题，因此也就存在一些竞争。你们是怎么思考这个问题的——也就是说，什么因素会造就这里的 dominant player（主导者）或者 winning player（胜出者）？是像你提到的那样，cost of capital（资本成本）吗？是 access to supply（获取供应的能力）吗？还是 software（软件）？

是 demand（需求）吗？对。还是说，单纯就是要把每一件事都做到极致？

对。你看。我我我觉得 inference 最有意思的地方在于：

g 是运营吗？我猜是。

比如 cloud。我也这么想。对。我觉得，像 GPUs as a service 并不具备粘性。我觉得这一点已经被证明了。

比如说，客户通常就是把那看成 commodity（大宗商品/标准化商品）。而 Imprint 加上软件层之后，粘性就高得惊人。你知道，就像——我们前 30 大客户里，没有一个流失过。我们说的是大约 400% 的 annual NDR。嗯哼。就是我们业务大概是这种水平。

所以它就是，非常——非常非常有粘性。所以我觉得那个软件层非常重要。我内心乐观的一面会想，哦，软件里有这么多价值，而我们会打造出目前最好的 inference（推理）软件层。我想，你知道的，正如我觉得现在已经越来越清楚的那样，对 inference computers 的访问权是一种战略优势。而我认为这也是连那些 labs 都在追求的策略：如果我们掌握了全部 compute（算力），那你想跑 inference，就祝你好运吧。

对，对。在一个 compute（算力）受限的世界里，最应该掌握的东西就是 compute。对。所以，你知道，仅仅是拥有它本身就是一种资产，而我觉得这一点被很多人低估了。

对。没有牛奶你也能做出不错的热巧克力。除非——

你是 vegan。

除非你是个 vegan。没人想要 vegan inference。对。

嗯，我得问你一个问题，人们可能会想要替代牛奶，对吧？所以，好吧，当你看时，H100 是很棒的 chip（芯片），大家，你知道，会想要 B200，他们想要 GB200，他们当然还想要大量大量的 Nvidia。那当你考虑做一个押注，比如押注几年的未来时，你是否相信会出现一种多 chip 的世界？比如，从计算的角度看，在 chip 这一侧你觉得会发生什么？

对。我觉得，你知道，像是到处都要做多样化，这是一种——嗯哼。就像我想给很多 model（模型）浇水一样。我觉得，你知道，我们想给大多数东西都浇水。我觉得——

如果这没有发生，你会很失望。

对。而且我也觉得每个人都会失望。我要说的是，在某种程度上，确实如此。对。而且我认为会出现专门用于 inference（推理）的 chip。我觉得你还会有那种专门用于 decode（解码）的 chip。

我是说，我们正在看这个方向。

而且 NVIDIA 也这么说过。

对，对。我的意思是，那整个就是 Croc LP 那套说法。就像，你知道，我觉得，我觉得那非常直接，而且也讲得通。我认为人们真的、真的、真的低估了 NVIDIA 在供应链方面的东西，比如他们在这方面有多强，CUDA 有多强，以及围绕它的 developer ecosystem（开发者生态系统）有多强。

而且，你知道，在我看来，作为一家基础设施公司，在这个时刻最重要的事情之一，就是你推进的速度能有多快。而今天你用 NVIDIA 能移动得最快。我觉得这就是现实。就像，考虑到他们运营的规模，考虑到他们运营的规模，很难——很难看出，虽然我不是说这不会发生——在短期内，比如未来几年里，会有谁能够与之竞争。尤其是在其他那些参与者也都存在的情况下。

比如说，你要想在这里具备竞争力，真正需要的是一个围绕你形成的 ecosystem（生态系统）。如果你把所有 supply（供应）都绑定给一个 buyer（买方），而你也知道，其他很多 chip（芯片）供应商就是这么干的，那这个 ecosystem 其实就很难形成。你明白吗？比如，如果你想想看，假设你是一个大型 lab（实验室），并且你和某一种 chip 签了专有协议，拿到了 90% 的 supply，那实际上你最符合自身利益的做法，就是确保你拿到 95% 的 supply，这样一来，所有为你构建的东西，别人就根本用不了。