Inside Nemotron & NVIDIA’s AI Lab | Bryan Catanzaro

如果你接受这样一个事实：我们将会在极限状态下运行，那么这意味着，获得更多 intelligence（智能）的方式就是提高效率。如果我们已经到了极限，就不可能靠施加更大力量来获得更多 intelligence。我们必须更认真地思考，如何使用我们已经拥有的东西。我们会构建工具。我们会构建外部器官，来帮助我们解决问题。

你知道，我们有一个外部胃，我们叫它 kitchen。现在我们正在创造一个外部大脑。外部大脑会带来什么影响？相当深远。

实际上没有人真的知道。

大家好，我是 Matt Turk。欢迎回到 mad podcast。开源 AI 又一次迎来了高光时刻，功能强大的新模型几乎每周都在出现，而今天的嘉宾正是最适合帮我们拆解这一切的人之一。Brian Catantaro 负责 Nemotron，也就是 NVIDIA 的开放 foundation models（基础模型）系列。

现在，并不是所有人都意识到 NVIDIA 正在大规模投入构建前沿 AI 模型，但它确实雇用了数百名 AI 研究人员，而 Neutron three Ultra 在几周前发布时，立刻成为美国排名第一的 open weights（开放权重）模型。我们的对话将从开源 AI 的现状，以及 The US 和 China 之间的竞赛谈起，然后再深入 Nemotron 内部。four bit training（4 比特训练）、hybrid member transform architecture、mixture of experts（专家混合）、multi token prediction（多 token 预测）以及 multi teacher distillation（多教师蒸馏），都会用通俗语言来讲解。最后，你还将难得一窥一个现代 AI 研究组织究竟是如何运作的：怎样让许多聪明绝顶的人共同构建一个模型，而不是产出 100 篇论文。请享受这场与 Brian Catantaro 的精彩对话。

好，Brian，很高兴来做这期节目。看起来开源正迎来一个辉煌之年。所以你们 NVIDIA 刚刚发布了 Nemotron three Ultra，这是一个重要时刻，也是 The US 最好的开源、开放权重模型。那还是几天前的事。而就在更近一点的时候，GLM 5.2 也发布了，那又是另一个重要时刻。

所以看起来开源 AI 的发展正在加速。这感觉是个很好的切入点。你如何判断我们现在所处的位置？以及 closed source（闭源）和 open source（开源）之间的差距目前到底有多大？

嗯，看到这么多力量投入到 AI 的开放技术中，确实非常令人兴奋，因为我们知道，开放技术能让人们进行创新。Internet 就是一个绝佳的例子。实际上，我们确实曾经有过封闭的 Internet。我不知道你是否还记得早年的 America Online 和 Prodigy 之类的东西，它们都很不错。而开放的 Internet 同样也一直非常了不起。

对吧？很多不同的公司都已经找到了如何借助一种开放技术来改造自身工作的方式。Internet 在零售业中的应用，与 Internet 在医疗保健或制造业中的应用非常不同，但它们全都被 Internet 彻底改变了。我相信，AI 也是一种具有强大变革性的技术，而且也是一种需要以非常多样化方式加以应用的技术。正因为如此，我认为 AI 的开放技术确实是非常基础、非常根本的。

而且，看到世界各地这么多不同的组织持续为 AI 的开放技术进行投资和开发，真的非常令人振奋。并且，你知道，我希望这种势头能够持续下去。

你觉得 open source 相比 closed source 还落后多少？过去这几年一个很大的趋势，就是这种差距在不断缩小。你认为 open source 已经快追上了吗，还是说 closed source models 的门槛一直在被抬高？

嗯，我觉得这个问题之所以常被提起，可能是因为它很容易让人想把事情包装成一种竞争，这样也挺有意思；但实际上，我感觉整个 AI 社区都在以非常快的速度前进。比如说，如果你看看 AI 在过去短短三个月里的进展，无论是 closed 还是 open，都非常惊人。所以，如果你身处一个发展速度真的、真的非常快的领域，我认为这比不同模型之间可能存在的任何具体差距都更重要，因为最重要的是，AI 作为一个领域究竟在怎样发展。

你认为推动 open source AI 持续进步的驱动力是什么？是社区本身，以及像 NVIDIA 这样的大公司在背后支持吗？是和 China 的全球竞争吗？到底是什么在推动 open source AI 向前发展？

你知道，我认为有很多因素在推动 AI 的开放技术向前发展。其中一个就是需求本身。你知道，有太多组织希望能够定制 AI，并把它深度整合进自己的工作流程里，而这确实需要 AI 的开放技术。所以我认为，需求肯定是存在的。我还认为，这本身也是发展技术的最佳方式。

而且我们已经看到，几十年来一直如此：以开放方式开发的技术推进得更快，因为我们都能彼此学习。在这样一个时代里，随着 AI 的开发和部署，我们正经历着有生以来技术领域最令人兴奋的事情。那么，computer scientists 除了把 AI 做得非常出色之外，还会想做什么呢？如果以社区协作的方式共同推进，是实现这一点的最佳路径，那么这也会成为一种驱动力，推动整个社区朝着公开开发技术的方向前进。

我想提一个也许稍微有点犬儒的问题。至少社区里有一部分人在想，open source 作为一个生态系统——不是单指 Nvidia，而是整体而言——其进展在一定程度上是否依赖于对 closed source models 进行 distill（蒸馏）的能力；而在一个像 Anthropics 和 Fable 5 这样的参与者开始不鼓励 distillation（蒸馏）的世界里，你觉得在这种背景下，或者因此，open source AI 的进展有可能放缓吗？

你知道，在我看来，这毫无疑问：当 technology community 决定对我们这个时代最具变革性的技术进行巨额投资时，就一定会出现快速进展。而且，这项技术也不会被一小群人所控制，因为这根本不是这个行业的运作方式。你知道，只有当我们每个人都能用自己的方式去思考它、用自己的方式去应用它时，我们才能做出最好的工作，才能让我们的工作产生最大的影响。所以，你知道，我很喜欢 closed AI APIs，不管是来自 Anthropic 还是其他人。

我觉得它们非常了不起。你知道，我真的、真的对那些实验室正在做的工作印象深刻。但它们并不是世界上仅有的实验室。全球有很多实验室，也有很多人有好想法。并不是说，只有少数几个实验室垄断了所有好的想法。

这根本不是真的。人类不是这样运作的。这个星球上有很多聪明人。而且，你知道，这个 community 当然非常关心这项技术。它显然具有如此强的变革性，会对这么多事情产生如此深远的影响，所以当然会有很多人想参与其中。

所以，我认为随着时间推移，我们会看到，以 community 为导向的 AI 开发与部署方式会继续增强，并被广泛采用，因为这其实就是我们作为人类这个物种构建事物的历史方式。

你认为这一点在全球范围内也成立吗？特别是关于 China，现在有一种看法是：没错，世界各地很多人都有很好的想法；但 Chinese models 的很多进展，都是直接受 closed source models 启发，或者甚至可能是通过 distillation（蒸馏）产生的。这种说法只是媒体为了博眼球、激起争议，还是说，从一位顶尖 AI researcher 的视角来看，你同样对 China 产出的原创想法印象非常深刻？

也许有点少见，但我实际上曾在一家 Chinese company 工作了大约两年半。我当时在 Baidu，供职于 Silicon Valley AI Lab，和 Andrew Ng 以及 Dario Amadei 一起工作。我们都在为一家 Chinese company 工作，也看到了 Baidu 其他同事有多么聪明、勤奋、富有创造力和发明精神。你知道，那段经历一直让我印象深刻。

我认为，说其他某个国家的成就全都是由某种“模仿者心态”造就的，这种说法绝对是错误的。事实根本不是这样。那么，我们在 technology community 里会不会彼此学习？当然会。你知道？

当然，当然，我们会彼此学习。但你知道，我会说，Chinese AI community 对他们正在构建的东西一直如此开放，这对世界来说是一件非常好的事。我认为，这让大量公司得以构建原本离开那个 community 就做不出来的东西。我也认为，这推动了整个 AI ecosystem 的技术进步。所以，你知道，我真的非常感谢我们在 China 的同行这些年来所作出的贡献。

而且，你知道，我也很希望鼓励一种开放精神，不仅是在 China，也是在全球其他地区的 AI labs 之间。你知道，前一阵子 OpenAI 发布 GPT OSS models 的时候，我真的很兴奋，当然，Google 用 Gemma 做的工作也非常出色。看到这些真的令人非常振奋。而且，你知道，在 NVIDIA，我们也在推进 Nemotron。所以我认为，世界其他地区是有机会赶上 China 的；也就是说，我们可以理解协作的好处，把大家作为一个 community（社区）联合起来，以共同构建 AI 技术，而坦率地说，在这方面 China 一直走在前面。

很好。如今，客户为什么要使用 open source models（开源模型）？你们最根本的优势是什么？

每家公司都是围绕某种秘密建立起来的。这种秘密不仅关系到他们的 intellectual property（知识产权），也关系到他们的平台，也就是他们如何与问题和客户互动。他们如何思考解决方案，去满足客户真正的需求？而且，一直以来都是这样：当 AI 能更紧密地连接这些秘密时，它的价值就会更大，因为，你知道，AI 在关键层面上依赖 data（数据）。所以，输入的数据越有价值，最终形成的解决方案也就越有价值。

现在，每家公司在考虑如何部署 AI 时，都必须想清楚：这对我们公司的核心秘密意味着什么。有很多情况下，出于 trade secrets（商业机密），或者，你知道，为了理清 business model（商业模式），甚至是出于 regulatory requirements（监管要求），有些数据依法就必须被非常谨慎地处理。而当你能够自己把这些问题想透并亲自实施时，这件事会好得多。包括思考 AI 的集成方式、AI 如何与客户互动、以及需要设置哪些 guardrails（防护约束）。你知道，每家公司对自己的客户都有特定的理解，因此也更清楚客户真正需要什么。

而 AI 的开放技术最了不起的一点在于，它们允许定制，也就是 customization（定制化）。对吧？所以公司可以把这些问题真正想透，可以构建那些对自己确实重要的东西。而且，你知道，我在这段对话一开始谈到过 Internet，也谈到过 Internet 的部署方式在不同行业中其实非常不同。

而且，随着我们看到 AI 正在改变整个经济中我们的工作和娱乐方式，大家也越来越希望能以这种方式来做。这确实正在激发对 AI 开放技术的大量需求。

很好。我很想更深入聊聊 Nematron。不过在那之前，也许先花几分钟讲讲你的经历、你的背景。你是如何一步步走到今天的，包括中间去 Baidu 的那段经历？

所以，我是在 2008 年开始在 NVIDIA 工作的。那时候，我还是一名 graduate student（研究生），正在尝试搞清楚如何把 parallel computing（并行计算）用于 artificial intelligence（人工智能），而我当时觉得，NVIDIA 有机会改变计算机利用 AI 的方式。

那大概是一段很孤独的探索吧，对吗，尤其是在 2008 年？

哦，那时非常混乱。那会儿大家都觉得我疯了。你知道，我记得自己在 2008 年去 ICML。我发表了第一篇关于在 GPU 上训练模型的论文，结果别人还问我为什么会在那里。有人说，这不是一篇适合发在 ICML 的好论文。

他们的意思是，我们——我们这里只做高深的数学。我当时想的是，可我认为计算实际上对 AI 非常重要。如果我们能训练更大的模型，让它们拥有更强的学习容量，也许就能解决更多问题。而他们大概只是点点头，但其实并不买账。就像在说，好吧，我还是不太明白你为什么会在这儿。

GPU 不也是拿来打游戏的东西吗，大概？

对，没错。确实也有这一层意思，对吧？而且我们一直到现在还会碰到这种看法。

其实，GPU 是 NVIDIA 说它是什么，它就是什么。毕竟是我们制造它们的。所以，GPU 是我们为了加速这个世界上最重要的计算任务而打造的东西——在 1995 年，这个任务是图形处理。而到后来很长一段时间里，这个任务一直都是 AI。总之，我就是这样加入 NVIDIA 的。

我当时在 research group，做一些很特别的事情，比如尝试为 GPU 上的 AI 开发 compiler（编译器）和 library（库）。这后来促成了 Copperhead 的诞生——它是一种嵌入式 Python 语言，可以编译到 GPU 上运行。我觉得它在很多方面都预示了后来 TensorFlow 和 PyTorch 里的不少东西。再后来，这又推动了 cuDNN 的诞生，它是 NVIDIA 第一个面向 GPU 上 deep learning（深度学习）的产品。我非常喜欢做这项工作，但我一直想更直接地看到 AI 的应用层面。在 NVIDIA，我大多还是在做 AI 的 library 和 compiler。

所以我想，嗯，当 Andrew Ng 邀请我和他一起在 Baidu 建立 Silicon Valley AI Lab 时，我觉得，哦，这是一个绝佳的机会，因为即使在那时候，Baidu 在把 AI 应用到其核心业务这件事上就已经非常领先了。所以那对我来说确实是一个非常棒的机会。Baidu Silicon Valley AI Lab 是个了不起的地方，里面都是才华横溢、而且工作极其投入的人。

和年轻时的 Dario 一起工作是什么感觉？当时有没有什么迹象表明，他会成为如今这样的他？

Dario 从一开始就非常出色。我记得我面试过他。我当时是面试小组成员，而那时候他一直在做 bioinformatics。所以他当时并没有在做 deep learning，或者我们如今所说的 AI 这些东西。但很明显，他学东西特别快，而且思考也非常深入。

我想，我最佩服 Dario 的一点，是他信念的力量。你知道，我在这个领域工作很久了，我也一直相信 AI 会改变世界。但我觉得，我并没有像 Dario 那样如此彻底地相信这件事。也许那是因为，我 PhD 期间接受的学术训练里充满了很多谨慎。我不知道你还记不记得，但在 2005 年，AI 还是一种又老又不被看好的东西。

它永远都行不通。

那是人们拿计算机做的一件事。他们从 1945 年就开始做这个了，对吧？所以，这些年里已经有过太多夸夸其谈的宏大承诺，最后都没能兑现。所以我进入 AI 这个领域时，是带着很强的谨慎态度的。

其实，在那个时候我们通常把它叫作 machine learning，这基本上是一种回避说法。就像是，我们只是不想让别人知道我们在做 AI，因为那样他们就会说，哦，这个我们听说过，从来都不管用。对吧？所以，我进入 AI 时，心里多少带着一点这种学术上的谨慎，觉得，哦，我们应该稍微保守一点。

就像，我也不知道现在是不是那个时机。而 Dario，他那种坚定的信念，以及他对当下这个时刻的理解——理解这一次技术是如何发展的，理解它这次真的会成功。然后还有这件事所带来的影响，比如技术应该如何被开发，应该建立什么样的 institutions（机构）。我认为他做得极其出色。所以，是的，和他一起工作始终都是一种非常愉快的经历。

所以后来你又回到了 NVIDIA，给我们讲讲这段历程吧？

是的。所以，十年前，准确说是在 2016 年，Jensen 给我打电话，说，嘿，你愿意回来创建一个 applied research lab（应用研究实验室）吗？我觉得那会是一个非常棒的机会。你知道，我一直都很喜欢 NVIDIA。我喜欢这家公司的运作方式，也喜欢它所坚持的那些信念。

你知道，NVIDIA 是一家非常独特的公司。它会在很长的时间跨度上真正把事情做到底，我在 CUDA 上看到了这一点，也在我们的 deep learning（深度学习）技术上看到了这一点，还在我们的 ray tracing graphics（光线追踪图形）技术、我们的 AI for graphics 上看到了这一点。一次又一次，NVIDIA 都不惧怕投入五年或十年的研究，只为改变世界。

你知道吗？而且，对我来说，能在一家拥有这种信念强度、也有能力长期贯彻到底的公司工作，几乎是理想状态。我真的非常喜欢公司给予研究人员的支持，让他们去发明未来。所以我就决定回来。实际上，我参与的第一个项目后来变成了 DLSS，你们的一些观众可能知道它；DLSS 就是我们面向图形的实时 AI。

它能让小 GPU 跑出大 GPU 的效果。它的效率大约高 10 倍，因为我们不是为每一帧计算每一个像素的颜色，而是用 AI 去推断颜色。你知道，如今在你使用 DLSS 玩游戏时，每 24 个像素里有 23 个都是由我们的 AI model（模型）生成的，而玩家们非常喜欢它。它已经成为玩游戏的标准方式，因为它的响应更快，画面也更漂亮。我们的 AI 是在离线状态下用海量数据集训练出来的，因此它能够以实时方式渲染图形，而且效果比传统方法更漂亮。

我们最近实际上公布了 DLSS five，这是 DLSS 的一个 fully generative（完全生成式）版本，我对此非常兴奋。它代表了十年研究的集大成，核心是在于如何让实时图形变得更加漂亮。所以，对我来说，这段历程的一部分就是面向图形的实时 AI。但与此同时，我们也启动了一个 language modeling（语言建模）项目，那是在 2017 年，还早于 transformers 真正爆发、也早于 language modeling 开始席卷世界的时候。不过，你知道，我当时就是有一种直觉，可能是建立在我在 Baidu 工作时看到的一些事情之上。

我当时就是有一种直觉：处理文本、理解文本，将会带来更好的 reasoning（推理）能力，而这又会推动 AI 在各种领域中得到更好的应用。所以我们启动了这个叫作 Megatron 的项目。Megatron 的意思是“最大、最强的 transformer”，所以我们才给它起了这个名字。而它本质上是一个 systems project（系统项目），目的是向世界展示，如何在 NVIDIA 的硬件上训练最大规模的 transformer models（模型）。

在当时，你们的一些观众可能记得，也可能不记得，那时候有人声称，训练大型 transformer models 的唯一方式就是用 TPU，毕竟 transformer 本来就是在 Google 发明的。所以，我们当时看了那篇 transformer 论文，非常喜欢，觉得，哇，这东西潜力惊人。我们把它用在自己的 language modeling 任务上试了一下，结果比我们之前一直在用的 RNNs 好得多。同时，我们也立刻看到，这里面存在巨大的系统机会，可以对 GPU、网络、以及所有编译器和软件进行协同优化，从而让人们能够把基于 transformer 的 language models 规模大幅扩展起来。

我们当时觉得，这确实可能产生真正的影响。于是我们启动了 Megatron 项目，而我认为，这后来基本上帮助整个行业摸索出了如何训练超大规模 LLMs，也奠定了今天 Nemotron 项目的基础——也就是 NVIDIA 为了自身用途训练自己的 LLMs。所以这大概就是这段历史。

很精彩的经历。好的。那么我们来深入聊聊 Neemotron 的一切。在进入具体细节之前，先问一个显而易见、我相信你已经被问过很多次的问题：为什么 NVIDIA 一开始会在意亲自构建 model（模型），并投入非常大的精力去打造属于自己的 frontier models（前沿模型）家族？

你知道，Neutron 有两项任务。第一项任务，是帮助我们理解如何构建未来的系统。NVIDIA 是一家 accelerated computing（加速计算）公司，这意味着我们要从第一性原理出发，思考世界上最重要的计算挑战，并设计系统——其中也包括大量软件——从而让人们能够发明并部署那些用标准计算根本无法完成的东西。但要做到这一点，NVIDIA 就必须非常深入地理解 AI 运作的一切原理。这也是我们如何为自己的主力产品线协同设计全部系统和软件的方式。

所以，Neutron 的第一项任务，就是确保 NVIDIA 能持续存在下去，这样我们才能在一个 Moore's law 已经终结的时代，继续提供有意义的加速。如今我们获得的加速，来自 specialization（专用化、专业化）。但归根结底，specialization 来自理解。因此，Neutron 的第一项任务，就是帮助 NVIDIA 理解如何构建它的核心产品。NVIDIA 的第二项任务，或者说 Neutron 的第二项任务，则是支持整个 ecosystem（生态系统）。

多年来，NVIDIA 打造出的最有价值的东西之一，就是遍布全球、使用 NVIDIA 技术来构建并部署惊人 AI 的那些人。我们认为，要让 AI 的 open technology（开放技术）继续存在，NVIDIA 有必要出手支持。Neutron 并不想成为 AI 唯一的 open technology。我们热爱所有 AI 技术，原因其实很直接：只要 AI 得到进一步发展并进一步部署，对我们的业务来说就是机会。所以，这一点我们说得非常明确——我们确实是在积极发展自己的 ecosystem，因为这对我们是门好生意；但我们并不想成为这个 ecosystem 中技术的唯一提供者。

我们也很高兴看到其他公司作出贡献。对 Neutron 的第二项任务来说，最重要的就是确保各种规模、各种类型的公司，都仍然能够构建并部署属于自己的 AI。

顺便说一句，Moore's Law 已经死了。这算是官方定论了吗？

它已经死了很多年了。

已经死了很多年？为什么会这样？

嗯，你只要看看半导体制造领域的进展就知道了。你知道，Moore's law 最初的表述其实是经济层面的，对吧？它说的是：每隔——不管是 24 个月还是多久——我们都能负担得起在同一块 chip 上放入两倍数量的 transistor（晶体管）。而如今，情况绝对不是这样，而且大概五年到十年前就已经不是这样了。

对吧？不过我们仍然在通过多种方式扩展系统，对吧？一种方式就是直接给它投入更多 silicon（硅）。对吧？另外，transistor 也仍在继续变得更小、更高效，虽然速度变慢了，但与此同时它们也确实变得贵了不少。

所以，你知道，在 Moore's law 还有效的时代，打造未来系统的最佳方式，就是拿当下的系统，把它缩小，然后也许同时再翻一倍，对吧？但在我们已经生活了一段时间的这个时代里，把现有设计缩小并不会带来经济收益，所以你真的必须更聪明地使用系统中的每一个部分。在这样的时代，accelerated computing（加速计算）比以往任何时候都更有价值，因为从第一性原理出发重新思考这个问题，并对从 transistor 到 algorithm（算法）再到 application（应用）的所有环节进行 codesign（协同设计），以减少浪费并实现有意义的加速，这件事比以往任何时候都更有价值。

太好了。回过头来复述一下你刚才说的意思：NVIDIA 进入 model 业务在商业上是说得通的，因为第一，它有助于设计更好的 chip；第二，任何对 AI 有利的事，最终也都会对 NVIDIA 有利，这很有道理。那个 Neutron 项目是相当近期的，对吧？我记得它是从 2023 年开始的，也许吧。

你快速带我们过一下几个关键发布吧。我记得 2023 年的一个关键发布是 Neutron three eight b，还是说我漏掉了中间某一步？

对，对，对。所以，你知道，这个编号多少已经湮没在时间里了。我几乎感觉我们像是在 Lord of the Rings 里，仿佛在某座旧矿井里挖掘出一些古老的 relic（遗物）。

你知道，那已经是很久以前了。最初那个——我们最早称为 Nemotron One 的东西——其实是我们和 Microsoft 一起做的一个项目。我们联合训练了一个 530,000,000,000 参数的 model。我想那是在 2021 年发布的。所以那还是 GPT three 时代。

而那在当时我们把它叫作 Megatron Turing NLG。Turing 是 Microsoft 当时对他们 language model 工作所使用的名称。不过，事后回看，我们把那算作 Nemotron one。后来一路上，我们又做了几个，最后到了 Nemotron three。

然后，Lama 出现了，我们对此真的非常兴奋。我们非常高兴 Meta 在支持 open AI 技术领域。所以我们开始把自己的 language model（语言模型）技术加入到 LAMA models 中，随后就产生了 LAMA Nematron one。你知道，那是第一个基于 LAMA 构建的 reasoning model（推理模型）。我们对此非常自豪。

那是 2025 年吗？

可能是 2024 年。我想是，但我记不清了。大概就是那个时间。然后，是的，我们继续开发它。然后，你知道，后来我们的编号某种程度上又重新开始了。

我们发布了一个 Nematron two。我记得应该是去年。接着我们很快又推出了 Neutron three，因为我们需要加入 MOE support。Neutron two 没有 MOE support，这让它相比其他模型缺乏竞争力，比如 GPT OSS 20 b，靠着 MoE 简直快得惊人。所以我们当时想，好吧。

我们必须把 MoE 加进去，于是就有了 Nematron three。现在我们的处境有点尴尬，因为我们正在做 Nematron four，对吧？但我们其实已经发布过 Nematron four 了——那是在 2024 年，我们发布了一个名为 Nematron four 的 three forty b 模型。所以我也不太确定我们要怎么解决这个 marketing 问题。

这个 marketing 问题不是我造成的。所以，我会尽力说明清楚：我们之后无论什么时候发布的那个 Neutron four，和 2024 年的那个 Neutron four 是不一样的。不过无论如何，我们做这件事已经很久了。我觉得相比某一个具体代际，对我们来说更重要的是 NVIDIA 在开发这些模型上的持续投入与承诺。我们已经做了一段时间了。

我认为在过去一年里，我们的模型已经变得有用得多，这反映了两点。首先，最主要的一点是，整个公司都协同起来了。所以现在 NVIDIA 内部有很多不同团队都明白，这件事对 NVIDIA 的未来有多重要。因此，投入到 Neematron 中的人大幅增加了，想法也更好了。第二，与此同时，我们也得以扩大投入其中的 compute resources（计算资源）规模。

显然，要构建 AI，良好的 computing infrastructure（计算基础设施）非常重要。最近，我们大幅增加了投资，因为我们相信这对公司的未来真的、真的非常关键。很有意思。不过我想顺着这个思路继续说下去：我认为让所有人都知道这一点非常重要——我们做这件事已经很久了。我们正在大幅增加投资，而且 NVIDIA 是一家说到做到的公司。

你知道，十多年里我们一直持续推进 CUDA，现在我们也在对 Neutron 做同样的事。

这很有帮助，因为我觉得，更广泛的世界才刚开始意识到：一直以来都有一股非常强大的 open source frontier AI research（开源前沿 AI 研究）力量在推进。所以听到这一路演进真的很有意思。现在又有了这个我们马上要谈到的 model（模型）家族。另一个重要时刻似乎是，就在三个月前的 3 月，Nemotron coalition 的成立。你愿意简要解释一下那是什么吗？

Nemotron 的存在是为了帮助支持整个 ecosystem（生态系统），而我们当时在想，嗯，这和行业里的其他项目是不一样的一类 AI 项目。对吧？因为我们其实并不是想以任何方式去主导。我们只是想提供支持。我们不是想控制 AI 被整合进这些公司的方式。

我们只是想确保有好的 AI。但我们想到，也许如果我们在开发过程中就和大家一起合作，那它对他们来说会更有用。它也会更容易被集成，因为我们从一开始就会考虑他们需要什么。而且，你知道，Neutron 一直都是协作式的。我刚才跟你说过，很久很久以前，我们训练的第一个大型 model（模型），是和 Microsoft 一起做的。

Microsoft。对吧？那是一次联合努力，NVIDIA 和 Microsoft 的研究人员并肩合作来构建它。而我觉得，那最终对 NVIDIA 和 Microsoft 都有帮助。我想我们双方都从那次经验中学到了很多。

所以，正因为 Neutron 不是要和其他公司竞争，而是要提供支持，而且反正我们本来就会把它公开发布出来，那为什么不在它建成之前就先开展合作呢？而不是让 Neumatron 成为一个完全由 NVIDIA 单独完成、然后再发到 Internet 上说，嘿，你们来试试看吧，我们觉得它可能不错的项目。为什么不在 Neumatron 甚至还没被创建出来之前，就通过和感兴趣的伙伴合作，确保它对他们确实有用呢？并且把各种 feedback（反馈）、evaluation（评估）、environment（环境）、benchmark（基准测试），以及其他任何别人想带进来的技术类型都整合进去。

结果发现，整个 ecosystem（生态系统）里有很多公司都真的希望 open model（开放模型）取得成功。所以他们本身就有明确的 self-interest（自身利益），要确保 open technologies（开放技术）足够优秀。既然如此，为什么不和他们合作，并让他们以任何他们愿意的方式出力，来把 Neutron 做得更好呢？这就是 Neutron coalition 的理念。

这不是一个排他的 coalition（联盟）。我们并不是想成为唯一存在的模型。所有与我们合作的公司，都可以自由地继续按照对他们来说合理的方式推进自己的工作。与此同时，这些公司之所以想和我们合作，是因为他们希望 AI 的 open technologies（开放技术）能继续快速发展，并且他们也能有机会影响这一发展是如何发生的。