Memory and Continual Learning: Engram's Dan Biderman and Jessy Lin

那么，究竟是 pre training（预训练）甚至 post training（后训练）中的什么，让模型能够以这种近乎神奇的 emergent（涌现）方式实现泛化？以及，如何控制这个过程，使得当一家公司拥有一组私有数据时，我们能让模型把这些内容学得和它知道 France 的首都、或者知道怎么写 Python 一样好？所以我觉得这是一个非常有趣、值得思考的问题。

欢迎来到 Training Data。今天我们非常高兴请到 Ngram 的联合创始人 Don Biederman 和 Jesse Lynn。Ngram 是一家 NeoLab，专注于 memory（记忆）和 continual learning（持续学习）——这也是当今整个 AI 研究中最热门的两个话题。Sean 和我也非常高兴，今天能和你们一起深入探讨这些话题。

太棒了。很高兴。很棒。能够来到这里

那我们也许先从这里开始，Engram 网站上写着：我们不是通过 pretraining（预训练）或 post training（后训练）的视角来看世界。我们的模型始终都在训练。这是什么意思？

我觉得，如今的模型显然已经知道很多东西了。它们非常聪明，但我们认为，要让这些模型在当下变得更有用，瓶颈其实并不在于原始智力，而在于理解新的、不断演变的 context（上下文）。无论是你正在做的一项新任务，还是某个工作的特定 context，或者类似的东西，关键在于：你如何把这些内容像 pre training 和 post training 那样，深深地烘焙进 model weights（模型权重）里？这也是为什么我们认为自己是在解决 memory 和 continual learning 这些基础问题——它们其实是一枚硬币的两面。你如何让模型学会新的东西，并把它们深深写入模型的 weights 之中？

那么，你们的前提是否是：把 memory 作为一个单独的数据库，或者作为一个被塞进 context window（上下文窗口）的独立东西，这并不是真正的 memory，也不是真正的 continual learning？

我认为，这些工具最终都会某种程度上融合在一起。如今，人们解决这些问题的方式主要是 context engineering（上下文工程）。也就是你给模型一个巨大的 prompt（提示词），也许你会在很多很多轮、持续数小时的对话中不断和模型交流，并重组 context，以便更好地理解你想完成的事情。我们认为，这类东西——比如 tool use（工具使用）、context engineering——都会发挥作用；但我觉得，如今一个尚未被充分利用的工具，是使用 frontier labs 正在采用的同一套 training pipeline（训练流水线）或 framework（框架）或 workflow（工作流），这些方法已经被用来让模型在 frontier math（前沿数学）或 code（代码）上表现得非常出色，而我们可以把它应用到每一种 domain（领域）、每一种 context 上，比如说，一家公司内部拥有的各种 context。

对我来说，这有点像是：作为个人，记笔记、贴便利贴都是非常有价值的事情，我们绝不该抛弃这些。但当我们第二天回到工作中时，我们的大脑里总会留下一些 memory（记忆）的痕迹，一些关于事情应该如何推进、以及我们应该去哪里寻找的新直觉。所以，这两者应该结合起来。

而当前的解决方案更像是一种外置化的记忆（externalized memory）。这有两个问题。其一是，我们所有人作为整体、也作为个体，很快每天都会生成数以千万计的 token。所以如果只是把这些内容保存下来、再去搜索、再去重读，成本会相当高；而且除非我们在……方面取得非常非常重大的突破，否则这对模型来说也会相当困难、相当容易造成混淆。

这要看 Sean 那边是不是已经到几十亿 token 的规模了。

那不错。

得看是哪一天。

你能不能跟我们稍微讲讲 Ngram architecture 或者 Ngram product，以及它是如何工作的？

可以。我的意思是，从高层来看，我们想做的是获取任何上下文（context）。可以说，现在存在各种不同的工作空间（workspaces）。我们正与 Notion、Microsoft 和 Harvey 这样的合作伙伴合作，它们都有一些场景：人们会在这些地方长期进行大量工作。这里面包含着大量上下文，既包括你们团队已经写过的文档，也包括现在人们越来越多地在这些产品里与这些 agent 互动，或者与它们对话、给它们反馈。我们要做的是，弄清楚如何构建一个能够深度理解这些上下文的模型。所以不只是让它在 test time 读取文件，而是真正像一个已经在你公司工作多年的员工那样去理解这些内容。

这样它在高层上就会明白：哦，这些是整个公司的各项计划；这是我们做事的方式。它已经学会了如何运作招聘流程，或者如何在公司内部处理这类事情，并且能够像公司里其他任何人一样好地开展工作。我们正在做的是，在这些工作空间里为每个团队训练专属模型，让它们深度理解这些上下文，并且随着时间推移，在人们关心的事情上不断提升。从技术层面来说，我们实现这一点的一种方式，可能就是把这些内容训练进 weights（权重）里。

我们会做大量 adapter fine-tuning（适配器微调）。adapter 有很多类型。我觉得到现在为止，人们研究这些东西已经有几十年了，无论是 LORAs、prefixes，还是 sparse architectures（稀疏架构）。我认为这些工具都可以为我们所用。然后接下来就是弄清楚什么样的数据才是合适的数据。

你如何把任何类型的原始文档或交互，转化为对模型有用的训练信号？再说一次，现在我们已经有各种工具，比如 supervised fine tuning（监督微调）、RL（强化学习）、on-policy distillation（同策略蒸馏）等等，这些都是这个领域发展出来的方法；现在要做的，是尝试把这些部分拼接起来，构建一个能够围绕人们关心的事情持续学习的模型。

是的，而且这并不是在赌工具不存在。我们的模型一直都建立在这样一个假设之上：有些知识是 externalized（外部化）的，有些工具总是存在的。但你需要做的是弄清楚——而这正是困难所在——哪些东西需要 internalized（内化），哪些东西可以 externalized（外部化）。即便是那些已经 externalized 的内容，很多个人和公司也都有自己定制的 bespoke tools（专用工具）和做事方式。并不是每个人都拥有那些 frontier models（前沿模型）训练时所接触的同样的 bash CLI tools；而如何让模型更好理解你自己的 bespoke setup（定制环境），我认为这本身就是一件很有意思的事。

所以你的前提是，我的 Notion agent 会是一个定制 agent，会经过 LoRa fine tuned，或者以某种方式做 adapter tuning（适配器调优），从而能够对不断添加到我的 Notion workspace 里的新内容持续学习。是这个意思吗？对，那个——

而且他们在与很多模型合作，他们是所有 frontier models 的早期用户，而且他们很可能还会继续这么做。

这种方法适用于 frontier models 吗？那些 closed 的 frontier models 也可以吗？

我们需要对权重有 white-box access（白盒访问权限），对吧？所以，我们可以和那些拥有 closed-source weights（闭源权重）的公司合作，并和他们一起做这件事。但对我们来说，用 open-source models（开源模型）来做是最容易的。不过，只要是 transformer model（Transformer 模型），我们都可以对它施加我们这套方法。

那么，当人们比较使用你们前后的差异时，权衡点是什么？是不是他们不再需要发送那么多 context（上下文）了？也就是说，这种 trade-off（权衡）大致是：你先额外消耗更多 compute（算力），把你公司做事的方式学进权重里；然后在每一次 inference pass（推理过程）中，你发送给模型的 context 就会更少。这个理解大致对吗？对，

这是其中一点。还有一点是，你不必再去研究各种东西、反复重读材料，也不必再写那种臃肿得吓人的 system prompts（系统提示词）；这些都能让你的 token inference consumption（推理 token 消耗）降低两个数量级。不是说只减少 50%，而是可能少 100 倍，因为很多事情——尤其是和人、团队、组织以及优先级相关的事情——你很难只在一份文档里找到，除非你真的把一切都高度规范化并完整记录下来。而这类东西，模型可以通过在部分数据上训练，某种程度上隐式地学会，然后用 100 个 token 之内给出回答；而最好的 frontier models 做同样的事，可能要消耗 100,000 个 token。所以这类例子很有意思。

还有质量方面的问题：有些任务对当前这一代模型来说并不是“超人级”的。我们基本认为，这里会持续存在一个大约提前三到六个月的空档期：有些事情是高度定制化的，人们还只是在探索，模型还没有真正把它们做好；模型终究会在某个时点把它们做好，但如果你能以一种非常轻量的方式进行自主学习，那么在这段时间里以及能力演进的过程中，它就能创造价值。

比如说，为什么要在 workspace 层级而不是个人层级进行训练？

对我们来说两种都可以。只是更容易从团队开始——你知道，团队里的人通常在收集 context（上下文）方面更有纪律性，而且他们多年积累下来的 context 数量也更多。对我们而言，从这里切入更容易。但未来，每个人的电脑和每个人的手机，都会成为我们技术的一个有价值的目标。事实上，走到那一步会非常有意思。

我们只是认为，如今信息的大型沉淀库主要存在于从事知识工作的协作团队之中。

大语言模型里内置了如此多的事实记忆，这到底是 feature 还是 bug？有一种观点认为，模型仅仅去记住“France 的首都是 Paris”这样的事实，其实是一件坏事。更理想的情况是，模型能够抽象地学会国家和首都城市这些概念，而不是把所有这些事实都硬记在 weights（权重）里。所以我很好奇，你怎么看待 memorization（记忆）和 learning（学习）的解耦：今天的模型里它们是怎么实现的，以及你们打算如何处理这个问题。

是的，我觉得这是一个非常有意思的问题。从某种程度上说，你需要记住一些东西，才能把它们组合成更复杂的概念。我认为真正缺失的是：弄清楚什么是值得记住的。即使现在，当你思考学习新知识这件事时，如果你去看很多这类学术 benchmark（基准测试），它们关注的往往是：我们怎样才能学到非常具体的事实，比如某个 African 国家里一座桥的长度？这并不是你真正希望模型为之投入 capacity（容量）的东西。

这也不是我们想投入 capacity 的东西。我认为，如果你去看人类记忆——关于这一点你其实可以讲很多——它是有损的，因为智能的一个特征，本来就是压缩那些重要的内容，并把它们和不重要的内容区分开来。我认为，你并不能像有些人想的那样，真正把事实学习和非事实学习、或者 skill learning（技能学习）分离开来。如果你拿一个模型——有些人确实这样做过——把所有事实都剥离掉，只留下某种纯粹的核心之类的东西，那对模型来说其实是非常不自然的。它会连一些基本的东西都不知道，而这些东西你是需要的。

你为什么需要那些？为什么不能把事实查出来，然后只保留

我认为，如果你看事实的话——模型是怎么思考的——如果你在思考中为了迈出下一步，需要先回忆起一些基本事实，那你其实走不了太远。也许这只是一个高层次的直觉，但这也是我们为什么认为训练真的很重要的一部分原因。为了对事物进行越来越复杂、越来越深入的思考，你某种程度上需要把一些东西内化，这样你才能把它们组合成更抽象的概念。

对，而且

以前也有人做过一些尝试，想把这两者拆开，但很难扩展；他们试图用一种方式来 pre-train（预训练）模型，让它能够去检索、去搜索信息，而不是把这些信息内化进去。就我们目前共同不断优化、逐步爬坡的配方来说，就是这个基于事实的 pre-training（预训练）步骤。我觉得这种方法神奇、或者说神秘的地方在于，传统上在 CS（计算机科学）里，我们会把 databases 当成一个独立课程；我们也会有 algorithms，而 databases 更像是关于世界的事实、各种国家的首都之类——你把它们存起来，或者去查询它们。与此同时，还有 algorithms 这部分：你如何高效地操作信息，并以 sample-efficient（样本高效）的方式得到答案。我认为 deep learning（深度学习）的神奇之处就在于，这两件事现在被糅在一起了，而我们需要所有这些聪明的人，以及带有公益性质的 interpretability（可解释性）研究，来试着把它们重新拆开。

我认为，我们现在在 AI 被采纳进经济体系的过程中看到的很多现象是，这些东西正在逐渐再次分离：公司有它们自己的 context（上下文/语境），而且它们确实会非常谨慎地处理这些 context，也会非常谨慎地对其进行工程化。与此同时，还有一个完全不熟悉这些 context 的通用模型。这个模型在这些 context 之上运行。但对我们来说，很清楚的一点是，至少需要以某种节奏实现一定程度的收敛，也就是说，这些事实、叙事和细节需要被混合进模型里。这也有缺点，因为比如说，国家首都这样的事实当然也可能变化，只是变化不那么频繁，但还有很多其他事实是在不断变化的。

仅仅把这些东西压进 weights（权重）里，本身就是一件很有挑战的事。

我明白了。所以你的意思是，试图在这里把 algorithms 和 databases 分开，是一种错误的二分法。真正重要的是，如何区分什么是值得记住的，什么是不重要、不必记住的。

没错。这是一个——

这是我们如何进行 dream（“做梦”式生成/联想）的一个开放部分。你们在 ranking（排序）这方面，有没有从中获得什么启发？

我觉得，这是一个非常、非常宽泛的想法。大意只是：这里可能缺少了一个阶段——你拿到一个 context（上下文），然后把它深度内化。现在更像是一切都发生在 test time（测试时）。你查看用户给你的 context，然后临场做一些思考。但再说一次，这样你走不了太远，或者说也许能走一段，但过程中会不断犯错。

你要怎样把这些再消化回模型里，这样下次再做时，它就能用正确的方式去做，并且取得更大的进展？

对。那 dreams（梦）又是什么呢？梦是很疯狂的东西。说我们想造一个像我们的 dreams 一样的 AI，听起来多少有点疯。但那里其实没有太多连贯性。不过有意思的是，在梦里会发生什么？我们会看到事物，会自言自语，还会去试验各种 affordances（可供性）——在这个世界里、在社交场景里，以及你知道的各种情境中，我们能做什么、不能做什么。而且它明显非常偏向 social（社交）相关的内容，对吧？

所以对我们来说也是一样：对于我们正在构建的东西，我们会给模型时间，让它从真实互动中退出来，回头去试验它的 affordances。它在一个环境中能做什么？它知道什么？面对这类长尾极端情况时，它处理得有多快——也就是那些我们夜里也会梦到的情况。你们几位都是学术背景出身。

有什么典型的例子能说明这个问题，或者

到目前为止，有什么成功案例吗？

对。我有一个例子，Jesse 也可以再讲一个。先说一个假设性的例子：比如某家 AI lab，假设 OpenAI，必须在一周后赢下一项数学奥林匹克竞赛。他们会不会去整理一整套数学教材目录，再让人逐章标注该学哪些章节、该看哪些图表？还是说，他们其实会把这些资料收集起来，合成一些 training data（训练数据），启动一个 training job（训练任务），看看五六天后训到什么程度，然后开始评估之类的。

所以，对任何训练过模型的人来说都很明显：要把各种想法和能力更优地整合起来，是有一种更好的方式的，而这涉及 training（训练）这种近乎魔法的过程。我们也很清楚，这件事必须发生在数学、coding（编程）、cyber（网络安全）这些高风险领域里。我们只是认为，这种“魔法”其实可以以很有意思的方式落到更多人的手中。为什么最终产品一定只能由 Foundation Model Labs 掌控？你要怎样在这些巨头之间找到空间？

是的。我觉得我们的世界观和 Frontier Lab 的世界观有点不同。后者更像是想要一个单一模型，而且这个模型要越来越大、在各种领域都越来越智能。相反，我们设想的是一个每个人都有自己模型的世界。很多人们想让模型学习的东西，要么是私密的、永远不会出现在 post-training（后训练）数据集里的内容，要么甚至是彼此冲突的，比如说，哦，我希望任务按我的方式来做，而另一家公司或另一个人希望按他们的方式来做。我认为，我们现在已经看到，很多这类东西很难用过去几十年机器学习里一直在使用的同一套工具训练进模型：你有非常干净的 supervision（监督），有 ground truth reward signals（真实奖励信号），再构造一个良好的环境，然后训练模型使用工具去更好地完成这个 coding（编程）任务。

相反，世界上真实发生的很多事情都非常模糊，很难说到底什么才算“好”。我认为，这里面很多东西都高度因人而异，而且我觉得它们与 Frontier Labs 对整个训练 pipeline（流程）的理解，以及对长期会存在什么样模型的设想，存在很强的不匹配，或者说并不怎么一致。

对，再补充一点，我觉得 Frontier Labs 的 P0 是什么？你们这里有些人与他们走得很近。那就是实现 AGI，做出这一个通用模型，让它在 coding 和 math 上都极其强大，然后用它去自动化经济，或者解决 cryptography、defense 之类那些非常困难的长期问题。不难看出，要推动这件事需要什么：更多 pre-training（预训练）、更大的模型、更多数据、更多 RL（强化学习）、更多 inference-time compute（推理时算力）之类的东西。这就是他们的 P0。

这也是绝大多数资金投入和人才流向的地方。而且他们当然都在思考 memory（记忆），也都在思考 continual learning（持续学习）。只是目前这更多还是一种 product（产品）层面的工作。我们认为这值得被单独拿出来重点关注。我们认为那里需要真正的突破。

大约一个月前，Demis 在 Sequoia 的活动上也说得很清楚：我们需要围绕这些话题取得新的突破。显然，他们也在思考这些问题。只是我们是把全部注意力都集中在这上面。我们还认为，在激励机制层面，数据在哪里、模型归谁所有，这些问题都很有意思。所以，如果你能在不必派人去和他们肩并肩一起工作的情况下，仍然从大量的人类或组织那里规模化地学习，那将会是一个相当大的 unlock（关键突破）。

也许关于这一点，另一个要说的是，我认为这个世界里很多东西都需要换一种样子。第一，需要新的研究突破。第二，需要新的基础设施，用来为每个人训练 small models（小模型），而不是只训练一个大模型、只做一次大规模 run（训练运行）。第三，我认为还需要一种结合 research（研究）和 product 的不同方式。现在，我觉得这些 frontier labs 里是有研究人员的。

他们训练模型，然后把它“扔过墙”交给 product team（产品团队），再由后者通过 prompting（提示词设计）或 context engineering（上下文工程）在核心模型之上做出新的产品界面。但在一个模型始终处于训练中的世界里，我认为用户提供的输入，与模型会从什么中学习、训练信号是什么，是极其紧密地绑在一起的。research 和 product 之间需要一个更加一体化的闭环。虽然我们现在专注于解决很多核心研究挑战，这也是我们的背景所在，但我觉得我们也同样非常关注如何尽快把这些东西部署出去，从现实世界中的真实反馈里学习。

是什么驱动你去做这个问题的？我觉得这显然是一个重大挑战之一。我想现在几乎每个人都在谈这件事，因为模型已经这么聪明了，那还剩下什么？我认为，关键是在边缘处学习，去学习那些让这些模型变得有用的“剩余部分”。现在已经不只是原始智能高不高的问题了，而是要学会新的东西。我也觉得这件事非常基础、非常根本，因为它最终回到了一个问题：到底是什么让模型如此出色。

现在，这些模型会因为 pre-training（预训练）而“顺带”知道很多东西，而我们其实并不真正理解原因。这有点像互联网只是被当作一份礼物赐给了我们：那里有一组多样化的数据，包含了各种不同的 coding（编程）示例、写作示例，以及所有这些其他东西。事情就是这样碰巧发生了。现在，要想弄清楚如何攻克 continual learning（持续学习）这个问题，关键在于弄明白：pre-training，甚至 post-training（后训练）中的哪些因素，使模型能够以这种近乎神奇的涌现式方式进行泛化；以及如何控制这个过程，让一家公司拥有一组 private data（私有数据）时，我们也能让模型像知道法国首都是什么、或者知道如何写 Python 那样，把这些数据学得一样好。

所以我觉得，这是一个非常有意思、很值得思考的问题。

Don，你是 neuroscience（神经科学）领域出身的，对吧？

是的。我最初感兴趣的是关于 consciousness（意识）、human condition（人类处境）之类的问题。

这些模型有意识吗？

除了你能读到的那些内容之外，我对此没有什么更深入的想法。我觉得没有，但重要的是，要有聪明的人认真思考这个问题。我想说的是，我当时感兴趣的是 humans（人类）如何思考、如何感知；就像 Israeli psychologist（以色列心理学家）Amos Forsky 过去常说的那样，他对 artificial intelligence（人工智能）不感兴趣，他感兴趣的是 natural stupidity（自然的愚蠢）。所以我会说，我一开始也有点类似，试图去看人和动物是如何体验这个世界的。后来，渐渐地，你知道，我的兴趣倾向把我带到了 stats（统计）和 AI（人工智能）这些领域。

到了那里，我发现很多相同的 memory（记忆）和 continual learning（持续学习）问题其实都非常、非常紧迫。而且我们目前系统中的这类解决方案，和 biology（生物学）中的做法相比，差距还相当大。我并不是那种会说机器应该像动物、或者像人脑那样工作的人。我不这么认为。计算机有很多事情确实能比我们做得更好。

但 human memory（人类记忆）里面有一些非常不同的东西。比如说，如果你想存储整个 code base（代码库），你完全可以用计算机；你甚至都不需要在计算机上用 AI，就能把所有东西无损地存下来并直接取用。但 human brain（人脑）是在这些约束条件下演化出来的，比如 information capacity（信息容量）的限制，以及拥有这些模糊表征；而这些表征随后可以被抽象化、建立连接，并在第二天继续形成新的东西。当前系统其实并没有这种能力，除了那个通用的 pre-training（预训练）步骤之外。我当时真正感兴趣的是：有哪些方法可以把这种东西构建进去？

我们可以从中学到什么？

这更像是一个哲学问题。你提到在大脑里，有很多不同的“地盘”、不同的协处理单元（co-processing units）之类的东西。现代计算机架构里，有 CPU、GPU、memory（内存），还有各种不同的协处理器。结合 bitter lesson，你觉得正在发生的事是不是：LLM 最终收敛到某一个完全占主导地位的协处理器？就好像一切、所有计算，都会发生在某种相当于 language model 的 GPU 上？

还是说，你觉得这些模型是在模型内部以涌现（emergently）的方式构建出一堆协处理器？以 memory 为例，你觉得模型本身会自行长出某种相当于大脑中负责记忆、并且擅长记忆的那一部分吗？还是说，它需要配套另一种独立的架构？

对，所以 memory 几乎算是一种涌现属性，而不是一个独立的

过程？对，而且几乎一切都是这样。我们在 intelligence（智能）中所需要的一切，是否都会随着更好的训练数据和更大规模的 compute（算力）而自然涌现出来？

对。我会说，仅仅从当前 AI 部署的一个比较表层的视角来看，它远不只是 GPU，我们也看到各种 sandbox（沙箱）在快速涌现，模型在其他计算机上运行、尝试各种事情。我更想表达的是在

model architecture（模型架构）层面，而不是在——对，在这个

所以，另一类实验，或者说其实此前已经有很多关于不同架构的实验，我们也参与过其中一些，比如 state space 这一类架构，以及其他一些方法，试图更高效地处理非常非常长的 context（上下文）。这些方法的问题在于，最后都会变成一种权衡，通常是 memory 和 accuracy（准确性）之间的权衡——这里的 memory 不是行为或认知意义上的记忆，而是计算机意义上的内存，对吧？也就是说，不再采用 transformer attention 那种随序列长度呈二次增长的 memory footprint（内存占用），这些模型则是——

有些人声称他们做到了 sub-quadratic（次二次复杂度），对，

有些人是在声称，有些人确实做到了，对吧？而且一些最好的 Chinese model 的层受到了那些 state space architectures（状态空间架构）的启发，在成本上不是 quadratic（二次）的。问题是，以我们的实测来看，你总是在这种 memory（记忆）上拿 accuracy（准确率）做交换。天下没有免费的午餐。我们的意思是，听着，如果你真的是那种极度“bitter-less and pilled”的人，你想做的其实是去想：我怎么才能烧掉更多 compute（算力）？

以及我怎么把这些 compute 烧在我之前没见过的新 context（上下文）上？所以我们和任何人一样“bitter-less and pilled”。而且我们并不押注 AGI 的整体方向会很快走到尽头。我们只是认为，还有更多 compute 可以继续 scale（扩展）。如果我真的想理解 Sean、Sean 的工作以及 Sean 所处的 context，光靠反复读文件是远远不够的，尤其是像你这样一个特殊的人。

得训练一个特别——带点贬义地说——特殊的东西。我们得为这家伙训练一个 100,000,000,000,000

parameter（参数）规模的模型。

Cosine。Cosine。对。你们发现人们最在意自己的模型学会什么？比如说，是去记住关于这个组织的事实吗？

还是说，它要记住类似“啊，不，我们的 CI（持续集成）是这么做的”这种东西？人们实际上希望它学会什么？然后也许这就会进一步影响你们怎么给 memory slots（记忆槽位）排序之类的。

对，不过我觉得，如果你看现在人们在 app layer（应用层）花时间做的事，很大一部分其实只是想办法让模型在你的 use case（使用场景）里表现得更好。哦，我希望模型，比如说，能按照我的品牌风格来设计网站。这是现在非常常见的一个例子。不过，人们用 agents（智能体）做的任务种类很多，比如学习怎么运行一个 workflow（工作流），或者学习你特定的写作方式，诸如此类。所以它可以学很多不同类型的东西。

说实话，我认为当我们思考这些方法时，回到“事实”和“技能”的区分上，其实并没有真正的区别。我觉得这些方法对此基本是 agnostic（无偏向、无关）的。

对，我觉得这几乎是很自然的方向。几乎所有 app 层，本质上都是一个 frontier model（前沿模型）外面套了一个带 search tools（搜索工具）之类的循环。而他们几乎都希望和我们一起做的，是找到某种方式，以更快、更高效、同时也更具上下文性的方法去和他们的数据对接。所以对他们中的几乎所有人来说，想法都类似于：我们希望把自己的机构知识编码进某种更高效的东西里，这样我就不用每次都去研究；我们希望模型能以一种有针对性的方式知道，这件事应该分流给谁来处理。

而我们正在向他们展示的是，通过相当轻量的训练，这些能力可以变成模型的“本能”。它们不需要靠那种非常复杂、很长的 REPL 循环来解决问题。所以从某种意义上说，这有点像是个“RAG killer”的东西。再说一次，我们当然始终可以做 RAG，也始终可以 retrieve（检索），但人们真正感兴趣的是：如何以这种方式去对接超大的 data planes（数据平面），并把那些高度重复的事情自动化。

对，我想再深入追问一下这个“RAG killer”的说法，也抱歉我一直揪着这个问题不放，我就是还没有完全 grok（真正理解）它。它的前提是不是：做 RAG 和更新模型 weights（权重）之间存在某种权衡？还是说，应该两者都做？比如，什么类型的东西应该写进 weights，什么类型的东西又应该 externalize（外置）到 RAG 里？

我觉得这还是个未解决的问题。我不认为现在有人有答案。我们都还在研究它。这其实也对应着一个关于 biological memory（生物记忆）的根本问题：什么应该被内化，什么不应该。我的确觉得，有些东西比如说——你是否需要把一年前住过的某个酒店房间号内化下来？

大概率不需要，至少不需要存在你的 neural tissue（神经组织）里。那种东西大概写下来就好了。但比如你现在家里的密码，也许就需要内化；至少在接下来几年里，把它印刻在某个地方大概是有用的。所以，是的，这该如何映射到 knowledge work（知识工作）和产品上？这仍然是我们正在摸索的事情，而我们的做法是尽量少依赖 heuristics（启发式规则）。

对数据做过滤很容易，然后说，我要保留这个、丢掉那个、用这个训练、不用那个训练。但作为人类，你知道，我们会刷 TikTok，也会接触到很多垃圾内容，但大脑依然能够学习，而不会彻底失控。我们认为模型也应该如此。

对，也许从短期更具体地说，我觉得最近很多人担心的一点是：让这些 agent 连续跑上好几天，会带来极其高昂的 inference（推理）成本。

高昂的 inference（推理）成本是件好事。

为 Sonia 消耗 token（令牌）。

与 fireworks 配合使用。

她真的很喜欢 XIA。

热爱 inference（推理）。

我们也热爱 inference（推理）。

对。短期来看，我觉得这就是眼下最直接的痛点。为什么你会一遍又一遍地读取同样的文件，甚至在同一次 query（查询）里也是如此？而且更不用说，同一家公司里的不同人，会一遍又一遍地在相同文档上运行相同的 query（查询）。这本来就应该是模型直接知道的东西。

就像你问一名员工时，他们不会在搜索框里输入“我昨天在做什么？”他们就是知道。

但缓存不能解决这个问题吗？

我觉得在某种程度上，可以。但回到这个问题：什么应该被 internalized（内化进模型），什么又应该是在 test time（测试时）再去 retrieve（检索）的东西，我觉得归根结底，很大一部分都和“基于已有知识继续构建”有关。如果你总是在做 RAG，你就无法形成这样的联想：哦，我看到团队里有人在做这项研究；我在一个抽象层面上想起，哦，还有一个相关的东西你可能会想了解。哪怕你根本没有问到它。

但我认为，这类联想只能发生在 weights（权重）里，因为它并不是那种“你让我搜这个，我就去搜这个”的过程。

另外，我觉得 retrieval system（检索系统）总体上、尤其在 AI 里，主要限制并不那么在于“存什么、存在哪里”。真正的问题更像是：要怎么寻址它，怎么 query（查询）那个东西。你甚至知道该找什么吗？这需要某种直觉，而有意思的是，模型有时候恰恰缺少这种直觉——它们不知道该去哪里找。尤其如果你受限于当前这套做法，也就是 keyword search（关键词搜索），那它只是更容易在 RL（强化学习）里扩展，而且在 embeddings（嵌入）之类的 infra（基础设施）方面投入也更少。

所以，知道该搜什么这件事，本身就是一种直觉，也可能发生在模型内部。还有关于 caching（缓存）和 inference（推理）这点——这家公司一开始其实是让我们深入研究 KV cache 和 caching。这个事情很有意思，对吧？KV cache 可以说是当前这套做法下一个相当怪异的产物。你想想看，比如一篇 Wikipedia 文章，像 Taylor Swift 之类的单篇词条，它对应的 KV cache 在 GPU 上可能就要占到 80GB 的 HBM memory（高带宽内存）；而如果拿一个 70B 的 Llama model 来说，整个模型的 weights 大概也就 100GB。