The Neocloud Boom: State of AI Compute 2026 | Stephen Balaban

很明显，我们拥有一个了不起的系统：它可以吸收资金，然后产出软件。那些唱反调的人说，五年后你们就会把这些 GPU 扔掉，这完全错了。他们完全错了，而且一直都错了。我们总体上仍然是在建设不足。无论是在 Neo Clouds 的领导岗位上，还是在整个市场中的大多数人，都已经意识到，对 large language models（大语言模型）的需求是无止境的——从做 assistant（助手）到 code generation（代码生成），无所不包；而我们也仍然看不到 scaling laws（规模定律）的尽头。

大家好，我是来自 Firstmark 的 Matt Turk。欢迎来到 MAD podcast。今天我的嘉宾是 Steven Balabam，Lambda 的联合创始人兼 CTO。Lambda 是驱动这波 AI 热潮的顶级 neo clouds（新型云服务商）之一。这一期会深入探讨 AI 一切上层能力所依赖的物理层。

我们会聊到：为什么 GPU compute（GPU 算力）其实从来都不是 commodity（大宗商品式、可完全同质化）的；你如何为价值数十亿美元的数据中心和芯片融资；为什么一块 2023 年的 h 100 今天租出去的价格，可能比当初买入时还贵；以及，真正建起一座 gigawatt scale（吉瓦级）的 AI factory（AI 工厂）到底需要什么。我们还会讲到 Lambda 非常传奇的起源故事：从一家 facial recognition（人脸识别）创业公司，到一顶内置摄像头的棒球帽，再到如今一家估值接近十亿美元的 cloud（云）业务。请享受这场精彩且信息量十足的 Steven 对话。几年前，Silicon Valley 曾有那么一个时刻：如果你去问大多数人，他们会说 neo clouds 会变成 commodity，尤其是因为 GPU compute 会被 commoditized（同质化、商品化）。

但如果把时间快进到今天，情况看起来恰恰相反：Lambda，以及你们的几家竞争对手，似乎都增长得极其迅猛。那么，当年的怀疑者到底误判了什么？而他们今天又还在继续误判什么？

最关键的一点是，cloud compute（云计算算力）不是一种 commodity service（同质化服务）。它是一种非常复杂、高度垂直整合的服务类型，涵盖从土地审批、建设施工、HPC（high performance computing，高性能计算）设计，到软件、virtualization（虚拟化），再到其上的 cloud services（云服务）等各个层面。世界上最大的那些公司——这些市值数万亿美元的企业，不管是 Amazon、Microsoft、Google 还是 Oracle——都在做 cloud computing（云计算）业务，这不是没有原因的。原因就在于，这是一门很好的生意。所以我觉得，最根本的误解大概就是：人们以为这 somehow（不知怎的）和普通云服务有点不一样。

但实际上，它本质上就是一种为 AI 时代设计的 cloud service（云服务）。

但这里面确实有某种 commutization（应为 commoditization，商品化/同质化）的因素，对吧？GPU 的租赁价格确实在下降。但你的意思是，在某种程度上这并不重要，因为它只是整块蛋糕中的一层。

对。所以比如说，当你去看——我觉得其实值得做的一件事，是去稍微深挖一下某些方法论；例如，像 Bloomberg 上那个 h 100 租赁价格指数。我们在市场上实际看到的是，首先，价格其实分成两种：一种是 public cloud（公有云）的 on demand rate（按需价格），另一种是 long term rental rate（长期租赁价格）。而我认为，其中一些指数并没有正确把这一点考虑进去，因为我们实际看到的是：长期租赁价格非常稳定，甚至还在上涨；而按需租赁价格也同样非常稳定，并且在上涨。

所以实际发生的是，比如说，如果 index 的构成方式——也就是它的方法论——偏向让长期合同在成交量中占更大比重，那么这看起来就会像是 index 在下降；但现实中，这其实只是 index 所覆盖的那部分结构占比下降了。

很有意思。所以我很好奇，作为 Neo Cloud 生态中的关键领先参与者，你怎么看这个市场的演化。你们以及其他参与者正在构建的竞争优势，到底有多大程度是基于技术，又有多大程度是一场融资竞赛？

这件事有几个不同层面。首先，在很多差异化方向上都投入了大量工作。比如 cloud 软件的 orchestration layer（编排层），它让我们能够把一个超大规模的 GPU cluster（集群）切分给客户使用。比如，我们有 one click cluster 这个产品，就能做到这一点。这在 Neo Cloud 领域里算是相当独特的能力。大多数其他 Neo Clouds 要么无法直接从网站上启动一个 cluster，要么上限大概只有 32 个 GPU；而 Lambda 设计了一套软件，使我们可以通过 web interface（网页界面）向你提供从 16 个到 4,000 个 GPU 的配置。除此之外，在 data center（数据中心）建设和设计方面也有创新，这同样非常重要，因为那相当于高性能计算设备之下的物理层。

而且，我们也在研究很多不同的方法，来大幅缩短新 megawatt（兆瓦）容量从建设到上线所需的时间。然后，正如你提到的，在金融层面也有创新；我们正在想出一些新的、独特的方式，来为这些大规模资本项目进行融资、承保和打包。所以我认为，创新正在整个 stack（技术栈）的每一层发生，而这是一种协调极其复杂的业务。

对。那你觉得最终 Neo Cloud 生态会变成 winner take all（赢家通吃）的格局吗，还是说会有多个体量非常大的参与者共存的空间？

不会。我认为绝对有空间容纳多个非常大的参与者，就像传统 cloud 业务已经表明的那样，这个行业可以同时存在多个大赢家和多个大型玩家。我觉得根本原因还是回到驱动 market structure（市场结构）的因素。一般来说，当一个行业同时具备 technology moats（技术护城河）、capital formation moats（资本形成护城河）和 economic moats（经济护城河）时，它的市场结构往往会呈现 oligopolistic（寡头垄断）特征。而那些更依赖 network effect moats（网络效应护城河）的市场，则往往更容易走向某种单一赢家通吃的局面。

当你思考未来、思考这一切将如何展开时，你脑中有哪些不同情景？我们是在过度建设吗？还是建设不足？没人真正知道。你是怎么思考这个问题的？

我认为总体来说，我们仍然是在建设不足。大多数 NeoClouds 的领导者，或者说市场中的核心参与者，都已经意识到，对 large language models（大语言模型）的需求是某种近乎无止境的状态——从做 assistant（助手）到 code generation（代码生成），几乎无所不包。你甚至可以回看我过去的一些演讲，我当时大意是说：再过几个月到几年，我们会来到这样一个时间点——你把钱投进去，另一端就能产出软件。而在我当时做出这个预测的时候，这还不是一个被广泛接受的观点。但现在，随着比如 Opus four 或 five 的发布，我觉得已经很清楚了：我们拥有了一个惊人的系统，可以吸收资金，然后输出软件。

我觉得，之所以我对需求会继续存在这件事这么有信心，一个关键原因是，我们仍然看不到 scaling laws（规模定律）的尽头。它的底层逻辑有点像：你投入更多 compute（算力），模型就会产出更高水平的 intelligence（智能）。你知道的，随着模型容量变大、训练时使用更多 compute、喂入更多数据，你就会得到更多智能输出。只要这个规律还成立，我就认为未来仍然还有很多空间。很难准确预测 scaling laws 什么时候会开始进入那种边际回报递减的曲线区间，但就目前来看，非常清楚的一点是，我们会继续看到能力越来越强的模型，这实际上是在不断扩大可服务市场的锥形范围。对吧？

比如最开始的时候，可服务市场的那个锥形范围还只是：好，这东西会对 customer support（客户支持）有帮助；它算是 Google search 以及其他在线搜索的一种替代品。而现在情况变成了：它可以替代很多 software engineering（软件工程）岗位，或者说对软件工程岗位形成巨大的增强。因此，随着这个锥形范围扩大，整体市场以及对 compute（算力）的需求也会扩大。

而且我觉得，我们还在持续低估这件事。

你会担心 model training（模型训练）和 model inference（模型推理）变得——我不知道——高效 10 倍吗？以及那对当前这种建设投入会意味着什么？

我觉得一般来说，你看到的情况是：如果——假设——效率真的提高了 10 倍，我认为那只是意味着每个人都能处理 10 倍更多的 tokens（token），而在任何一个给定时点，世界上的 compute（算力）总量依然是固定的。所以早些年，这很有意思，我们以前经常讨论这个，差不多是在 2017 年吧。大家会想，哦，也许会出现某种新型模型，比如说，它会更像 random forest model（随机森林模型）；一些听众可能知道，你基本上可以在一台 MacBook 上训练 random forest model。

对吧？当时一直有人反复提出一种担忧，大意是：好吧，如果模型这一侧出现某种相邻式的颠覆，会怎么样？但到目前为止，我们还没有看到这种情况。再说一次，我们正在构建的一切，基本上都是建立在这些 scaling laws（规模定律）之上的，而这实际上就是在把这种架构不断做大。

所以我并不认为一种很可能发生的结果会是：出现某种巨大的模型层面颠覆，进而导致对 compute（算力）的需求下降。

你们现在在建设 Lambda Labs 的过程中，主要瓶颈是什么？是 GPU 算力，还是电力？

所以我总是说，瓶颈往往先是局部的，然后才是全局的。比如某个开发项目可能会卡在 generators（发电机）或 UPS systems（不间断电源系统）上，这取决于 site（场址）本身的一些特殊性。但从整个行业来看，主要瓶颈基本上是 land powered shell，也就是已经取得许可、并且 utility（公用事业公司）承诺提供一定 megawatt（兆瓦）电力容量的土地。当然，还包括 data center（数据中心）本身，以及装进数据中心里的 mechanical, electrical, and plumbing equipment，也就是 MEP equipment（机电管线设备）。所以我会说，这是我们现在在整个行业里普遍看到的主要瓶颈。

全球社区里反对 data centers（数据中心）的这股动向到底有多真实？你又怎么看待该如何回应它？

嗯，这当然是现在新闻里非常热门的话题。我会说，这绝对是非常真实的。我的意思是，我认为任何承载大型资本项目的社区——无论是 power plant（发电厂）、solar farm（光伏电站）、data center（数据中心）还是 distribution center（配送中心）——都理应在讨论中拥有一席之地。不过总的来说，我花了很多时间去看社区里的大量评论，而人们是想要 jobs（工作岗位）的。

他们想要 tax revenue（税收收入）。任何重大的资本开发都会带来大量税收，也会带来很多工作岗位，还会给他们的社区带来投资。而我认为他们真正表达的，第一，是在这些项目开发过程中拥有一席之地。我觉得这很重要：让他们的声音被听见，也让进入当地的 developers（开发商）真正理解这个社区。

另一个我认为需要记住的是，外面存在很多 misinformation（错误信息）。举例来说，现在每一种现代化部署——比如说 Blackwell class 或 Rubin class GPU，像 NVL、GBN、VR GPUs——很多时候都采用 closed direct-to-chip liquid cooling system（封闭式直达芯片液冷系统），并连接到 dry cooler（干式冷却器），这意味着几乎没有 evaporation（蒸发）。它不是在用 evaporative cooling（蒸发冷却），而是在用 dry cooler system（干冷系统），这种系统并不会消耗很多水。此外，这些数据中心开发项目中的大多数，还在给 grid（电网）带来大量电力相关资源。

它们要么在建设 behind-the-meter power（表后电源），要么在部署并向 grid（电网）接入 battery electric storage systems（电池储能系统），还会带来各种这类 ancillary benefits（附带收益），这些都能增强和加固电网，而且从长期来看，也会帮助维持社区正在承受的成本水平。所以我实际上认为，围绕“数据中心到底带来了什么”去更广泛传播事实，是有一条非常清晰路径的，因为现在确实有很多 misinformation（错误信息）。你会看到有人说数据中心耗水很多。没错，evaporative cooling tower（蒸发冷却塔）可能会蒸发大量水，但实际上，美国几乎没有新的建设项目在这些 closed-loop direct-to-chip liquid cooling systems（闭环直达芯片液冷系统）中使用 evaporative cooling（蒸发冷却）。

你觉得我们这个行业在向更广泛的世界解释这些事情时做得很糟吗？因为这些说法总是一再出现，而且似乎还在加速传播。但当你从技术角度去讨论时，正如你刚才说的，其中很多其实只是基于 misinformation（错误信息）？

我觉得大家都在努力把这类沟通做得更好。这需要清晰地思考，把 benefits（收益）写清楚，把 costs（成本）写清楚，然后以清楚、直白的方式呈现给社区，这样他们才能就自己的社区想要什么样的 jobs（工作岗位）和什么样的 development（开发）做出好的决定。

我们先稍微打开引擎盖来看一看。人们会谈论 flops、GPU hours、tokens 和 MFU 之类的东西。那么，理解 compute unit（计算单位）的最佳方式到底是什么？

对，这很有意思。你刚才提到了几个不同的术语，而我一直喜欢把它们从 physics（物理学）的角度，拆解成 SI（国际单位制）术语来看。所以，左边是所有的 energy production（能量生产），右边则是某个人正在消耗的 tokens。甚至在更右边，你还可以放上 application layer（应用层），它会使用这些 token。

所以在左边，你有每秒进入的 photons（光子），或者每秒进入的 natural gas（天然气）分子。然后这些通过 power plant（发电厂）或 solar farm（太阳能电站）被转换成 joules per second（焦耳每秒），这就是电力生产的度量。接着，joules per second，显然，在各种 engine（引擎）里都会有一个效率水平，那就是 engine efficiency（引擎效率）。这点很有意思，因为 MFU 百分比有点像这条链条更高层环节上的一种低效。然后 power plant 或 solar plant 会把它转换成 joules per second，也就是 watts（瓦特），再由整个 data center（数据中心）来消耗。

数据中心本身还需要给自己散热，这就是 PUE。实际上，这才是你用来衡量一个数据中心的 efficiency metric（效率指标）。然后你再把 servers（服务器）、各种 networking（网络）设备和 storage gear（存储设备）放进去，它们就会产出每秒 floating point operations（浮点运算），也就是每秒 FLOPS。好吧？这才是被消耗的东西。

这个每秒 flops 的容量，会被比如说 model builder（模型构建者）在训练模型或做模型 inferencing（推理）时消耗掉。然后它会从 flops per second 转换成 tokens per second。再往上，在这个 tokens per second 之上，最终客户还可能存在某种效率水平，也就是他们是否真的把这些 token 转化成了真实、实际的 intelligence（智能）。我会说，这就是从头到尾的整条 pipeline（流程）。

这非常有帮助。如果两家公司从根本上拥有相同的 chip（芯片），它们如何从中榨取更多价值？要让这颗芯片的 usefulness（实用性）最大化，需要发生什么？

如果你去看，比如说一小时 GPU 的成本结构——我们这里说的是 H100——这个成本结构里最大的一部分是与这一个 GPU 小时相关的 depreciation（折旧）。基本上，你可以把 utilization metric（利用率指标）看成是作用在这上面的一个乘数因子，也就是 one over the utilization（利用率的倒数）。所以如果你的 capital asset（资本资产）只有 50% 的时间在被使用，那么按每小时来算，与之相关的每小时折旧费用就会变成两倍，也就是 one over 0.5。因此我认为，公司获得独特优势的首要方式就是这一点。

也就是说，我怎样才能打造一个大家喜爱的 cloud product（云产品），从而带来高 utilization（高利用率）？除此之外，正如我们前面提到的，on demand compute（按需计算）这个市场里，retail pricing（零售定价）显然远高于 wholesale pricing（批发定价）。零售就是按需的：启动一个 GPU，再关闭一个 GPU，标准的 cloud service（云服务）。批发则是比如一次性买 10,000 个 GPU，用五年。所以我们在 Lambda 做的一件事，就是努力弄清楚：我们怎样才能从这些资本投入中，获得尽可能高的 dollar utilization（美元利用率）和 percentage utilization（百分比利用率）？

而这要通过打造优秀的 cloud software（云软件）来实现，让人们可以很容易地把资源启用和停用。比如说，如果你没有这套 cloud software，你就没法出租。你就没法提取出零售定价，对吧？你也不可能把它按小时租给别人，因为你根本没有实现这件事的手段。

实际上，很多 Neo Clouds 都处在这种位置：它们甚至连运行真正 cloud service（云服务）所需的基础设施都没有。

所以你有 GPUs，但这些 data center（数据中心）之所以能运作，一个很大的部分在于把 GPUs 变成 GPU 网络。你要不要从高层次解释一下这是怎么实现的？

大致思路是，你有一个大规模 high performance computing cluster（高性能计算集群），由很多——比如说——NVIDIA GB 300 NVL 72 racks 组成。那就是 72 个通过 NVLink 连接在一起的 GPUs。然后 rack 与 rack 之间还有连接，通常是 InfiniBand，或者高速 Ethernet。其本质上就是所谓的 spine leaf topology，也基本可以理解为：这是一个完全 non-blocking（无阻塞）的网络。

网络中每个 GPU 上的每个端口，都可以和其他任何 GPU 通信。它是 fully connected（全连接）的，并且能够在任意两块 GPU 之间提供最大带宽。这样的 cluster 对训练大型模型很有用，对 inferencing（推理）也很有用。所以我们在 Lambda 有时说的 frontier inference，基本上就是一种高度分布式的 inferencing 问题，在这种情况下，他们实际上会把模型切分或 shard（分片）。

他们会为模型设计某种 sharding strategy（分片策略），使它本质上能够运行在多块 GPU 上，并利用高速的 InfiniBand 或 Ethernet 互连来完成这些通信。

那么，什么是 frontier inference？它指的是对最先进的 reasoning models（推理模型）进行 inference，也就是那种要求更高的

任务吗？嗯，它不一定主要是和 reasoning models 相关，更准确地说，是那种非常大的 frontier model（前沿模型），大概属于全球三四家公司才涉及的领域。当它们做 inference 时，这是一个非常复杂的过程，会把所有可用的互连能力都充分利用起来。

你刚才描述的 France 的 Frontier，从概念上说，是否和训练时发生的事情是一样的——也就是把一个任务大规模分布到一大批 GPU 上？从 compute（算力）的角度看，一次训练 run 过程中到底会发生什么？

一般来说，在做一次训练 run 时，你可以把它理解为：模型的 backward pass（反向传播）和 forward pass（前向传播）之间会有某种拆分。backward pass 可能会占到，比如说，三分之二甚至更多的 compute；而 forward pass——它本质上和 inferencing（推理）是同一类事情——占剩下的部分。我认为过去这段时间里人们逐渐意识到的一点是：你为大规模训练 run 所搭建的那类基础设施，也可以被复用于这个模型的 inferencing。我说的 frontier inference，以及这种以分布式方式进行 inferencing 的事实，指的是你会有一个 mixture of experts model（专家混合模型）。

然后会有不同的、基本上可以说是不同的起始策略，来决定如何把这些 experts 放到不同的 server 上、不同的 GPU 上。而且，你知道，模型可能会非常大。它们可能装不进一个单独的 rack（机架），也可能装不进一台单独的 server。它们甚至可能需要分布到不同的 server 上，才能仅仅完成 forward inference pass（前向推理）。所以，分布式的 frontier inference 就是在这里进入画面的。

因为如果你做的是一个小模型，比如用户可能熟悉的 LAMA，或者一些经过 quantized（量化）的较小模型，它们可以装进单张 GPU。

嗯。

嗯，好吧。那我们就这么说吧，像 Opus 和 ChatGPT 5.5 这样的模型，是装不进单张 GPU 的。

那当我们考虑 compute cost（算力成本）时，最花钱的到底是什么？是模型大小吗？是 memory bandwidth（内存带宽）吗？是 latency（延迟）吗？还有 context window（上下文窗口），比如那种非常非常大的 context window，会不会改变 compute cost？

到底什么最花钱？

正如我提到的，这类 cloud service（云服务）的单位成本里，最大的组成部分是 depreciation expense（折旧费用）。而在这其中，基本上就是数据中心里那些 server 的 bill of materials（物料清单）成本，这毫无疑问是成本里最大的一块。假设你从 capital stack（资本结构）来往下拆，你可以一直拆到发电：每兆瓦是 200 万到 300 万美元，也就是一座发电厂每吉瓦是 20 亿到 30 亿美元。数据中心本身的建设成本，则是每吉瓦 100 亿到 150 亿美元。然后 compute，也就是 server，成本大约在每吉瓦 350 亿到 450 亿美元之间。

你可以看到，server 部分显然是远远最大的那一块，而那很大程度上对应 depreciation expense（折旧费用）。再往里拆，显然还有 server 和 cluster 的 bill of materials（物料清单），其中主要就是 GPUs。如果你去进一步拆解 NVIDIA 的 bill of materials，那么你就能更好地分配、判断这些成本究竟来自哪里。但至少在最近这段时间，memory 成本确实涨了很多，memory 的价格上涨非常明显。而且做 HBM memory 的 vendor 本来就很少，对吧，像 Samsung、Hynix。

所以你们在很大程度上算是一个重度使用 NVIDIA 的团队。你提到了一些名字，但具体来说，你们主要用哪些 chip？你们的 chip stack 大概是什么样的？

对。Lambda 非常喜欢 NVIDIA 的产品。我的意思是，它们是唯一一家在每一个主要 cloud platform 上都能用到的 server provider、也是唯一的 chip provider，这是一种巨大的平台优势。我们部署的所有 chip 也都一直沿用 NVIDIA 的 ecosystem。我们手上什么都有，从 v one hundreds、a one hundreds、h one hundreds、h two hundreds、b 2 hundreds、g h 2 Hundreds 或 g v 200、B 3 Hundreds，到即将推出的 VR two hundreds。

所以我们基本上把这个 ecosystem 里的东西都在用。

你觉得今天，或者在不久的将来，我们会进入一个 multisilicon 的世界吗？也就是说，除了 NVIDIA 之外，其他参与者还有空间吗？

嗯，我的意思是，我认为我们其实已经处在一个竞争极其激烈的世界里了，参与竞争的是一些规模巨大、巨大到市值数万亿美元的公司，而它们都在争夺同一件事：本质上，就是做出全球最适合运行和训练 neural networks（神经网络）的 chip。NVIDIA 打造了一个非常出色的产品，已经获得了广泛分发，并且拥有一个很强大的 developer 平台，开发者也非常喜欢他们做的东西。你必须考虑的不只是 chip 的成本，对吧？chip 的价格只是其中一个方面，但你还得把整个 software ecosystem，以及围绕它已经开发出来的东西都考虑进去。

所以大家在谈 NVIDIA 的 moat（护城河）时，有一个很大的 moat 就是它的 cuDNN stack。不是只有 CUDA。CUDA 当然也是，那就像我们所有人赖以生存的水一样。

但像 CUDA NN 这样的东西，里面已经内建了非常多 matrix multiplication routine（矩阵乘法例程）的优化。

怎么用人人都能懂的话来解释 CUDA NN 是什么？

对，好。所以 CUDA NN 其实就是 CUDA 的 deep neural network（深度神经网络）库，基本上你可以把它理解为 NVIDIA 的一个为矩阵乘法高度调优的引擎。简单说，如果你只是很朴素地自己实现矩阵乘法算法，可能只能达到某个浮点运算每秒的水平。但他们把其中每一个环节都做了调优，还会用到 Winograd filtering 之类的各种算法，来加速矩阵乘法。

而 cuDNN 的意义在于，你不用自己去做这些优化。这是一方面。另一方面是 Nickel NCCL，这是他们的网络优化库，它会感知你的网络拓扑以及连接方式，不管是 InfiniBand 还是 Ethernet 网络。然后它会为诸如 reduce all 和 broadcast 这些不同的操作，给出一种优化过的执行例程；这些操作属于所谓的 OpenMPI primitives，被用于我们刚才谈到的那种 sharding（分片），无论是在训练还是 inference（推理）中都会用到。所以，这一整套 software stack（软件栈），在我看来，确实是很多新进入 chip（芯片）领域的公司很难跨越的门槛。

我觉得我们其实已经——就像我说的——处在一个有多种 silicon（芯片）可选的世界里了。你知道，全球最大的那些实验室，已经在用多种不同类型的芯片来做 inferencing（推理）和训练。

如果用大白话来定义，会怎么说？我们刚才聊了芯片，但像 stack（栈）的其他部分，比如 networking（网络）和 storage（存储），你给我们顺着讲讲它是怎么工作的。

当你在运行 cloud service（云服务）时，有一件事是这样的：你会训练自己的 model（模型），或者上传已经训练好的模型，然后就准备用它开始进行大规模 inferencing（推理）。这时候，你需要一个地方来存放数据，不管是你拿来训练的数据，还是来自终端客户、持续流入的数据。所以，高速 storage（存储）是其中非常重要的一部分。Lambda 提供的基本上是一种面向 AI 优化的 file system service（文件系统服务），它明显快于标准的 cloud file system（云文件系统）；后者可能更像传统的 NFS 类型方案。而这个则是一个高度优化的 parallel file system（并行文件系统），专为高性能读写而设计，不过主要还是高性能读取。

这基本上就是大部分 workload（工作负载）。

这个东西是你们完全内部自研构建的吗？

我们的确，我是说，它完全是在 in house（内部自研）完成的。对吧？但这就得先问一个问题：到底怎么定义“完全 in house”呢？对吧？你知道，我们这家公司从来没有自己做过 PCB。

比如说，我们并没有自己去写所有东西，你知道的，我们的 virtualization（虚拟化）用的是 KBMKymu。对吧？所以，你知道，我们有一些 commodity off the shelf hardware（现成商用硬件），在上面安装软件后用于我们的部分存储。我们也有一些合作的存储伙伴。不过，总体来说，我们在 cloud（云）上做的所有事情，我通常都会说，基本上算是我们自己做出来的，但也借助了更广泛的 ecosystem（生态系统）的帮助；因为再说一次，除非你连 ultra pure silicon（超高纯度硅）都要自己从某个地方开采，否则根本不存在真正意义上的“全都自己造”。

然后还得再搞出你自己的 ASML。你知道吧？这就挺好笑的。

对，对。那就是高度优化的存储。还有什么？networking（网络）这部分呢？还有哪些其他组件？

所以，我刚才说的是我们这个 OneClub cluster 产品。为了让大家更容易理解，可以这么想：好，你手上有一大堆 GPU。假设你有一个由 10,000 个 GPU 组成的 cluster（集群）。

那我想把这个 cluster 划分开。所以它本质上是一堆 GPU，也会有一些 CPU server（CPU 服务器），因为你还需要一套 orchestration fleet（编排控制服务器群）。然后你还有一些 storage（存储）。所有这些 CPU 服务器、存储服务器和 GPU 服务器，都会通过存储互联起来，这样它们就能快速地进行读写。

而这些通信会通过所谓的 in band network（带内网络）发生。然后还有 compute fabric（计算互连网络），也就是我刚才说的，所有各种 weights（权重）和 feature activations（特征激活）都会在这张 compute fabric 里共享。除此之外，还有一张 out of band monitoring network（带外监控网络），你可以通过它访问 BMC 或者你的一些 DPU。而当你试图从一个 10,000 GPU 的 cluster 中创建一个子分区时，你需要同时对 in band、out of band 和 compute fabric 进行分区。明白吗？

所以，这里面那种复杂的协调工作——从“我们有一大批 bare metal（裸金属）系统”，到“我们有一个带有 RDMA 的虚拟化系统”——其中 RDMA 指的是 Remote Direct Memory Access（远程直接内存访问），它让这些系统不仅能快速读写磁盘，还能快速读写彼此的内存、GPU 的 HBM memory（高带宽内存）；并且还能实现这种 direct memory access（直接内存访问），比如让数据直接从一个 GPU 到另一个 GPU，而不需要先复制到 CPU。要让这一整套都运转起来，是一项极其、极其庞大的软件工程。这也回到了最初那个问题：人们到底没有理解 Neo Clouds 的什么？

嗯，首先，答案是大多数 neo clouds 并不具备这种技术。大多数 neo clouds 并没有做出那种真正意义上的软件投入——大概需要数千万到上亿美元——你得投入这些，才能构建一个真正的 cloud system（云系统），去对这样的 high performance computing environment（高性能计算环境）进行分区和管理。所以这就是其中的关键；另外还得让这一切与 storage（存储）协同工作。总之，我想这大致概括了你需要的那些步骤。你也可以把它理解为现代系统中的各种 moving parts（活动部件）：一个 AI data center（AI 数据中心）究竟是怎么运作的？人们会说“AI 数据中心”，但实际上你还得再往下一层去看。因为顺便说一句，如果你去问一个 AI data center 的 landlord（业主/房东），尤其是传统那种，“这个数据中心里面到底在发生什么？”他们多半会说：嗯，你看，我们是做房地产的。

而且我们实际上把这件事外包给了 GC。但 GC 当然也并不知道这里面具体发生了什么，真正知道的是他们的 tenants（租户）。所以，这才是 AI data center 内部实际上在发生的事情，然后它再把结果提供出来。再回到社区相关的话题，如果人们更清楚地知道，哦，原来这个 AI data center 实际上只是在处理我发出的 chat GBT 请求。

有时候他们甚至都没有意识到，这其实就是 AI data center 的作用。

所以你提到了 tenants。你们是租用这些设施吗？你们自己也拥有一些、或者自己建设一些吗？这在整体战略里处于什么位置？