而 droid CLI 以一种此前那些 fully autonomous agents 做不到的方式,贴近了开发者当下的工作状态。另外,它的性能也完全是 state of the art(业界最先进水平),而且它是 model agnostic(模型无关)的。所以它可以使用当时市面上的每一个模型。9 月 26 日也正好是我们最初启动这件事两年之后。所以那时整个世界已经更习惯使用像 auto complete(自动补全)这样的东西了。
benchmark(基准测试)这类东西的半衰期很短。就像,任何一个好的 benchmark,基本都会在三到六个月内被刷到极限。对。当时我觉得我们发布时主推的那个,而且后来也确实成了一个相当不错的 benchmark,就是 terminal bench。在那之前,比较领先的是 SWE bench,它基本上是选取一些 open source project(开源项目)以及一些后来被解决的问题案例。
这很类似于一个想法——大概十年前吧,如果你当时会说,嘿,我想训练我自己的 personal AI,那还是 ML 时代、还在 GPT-three 之前。我想训练我的 personal AI,所以我要把我所有的数据都喂给它,因为我希望它了解我。结果答案是:把整个 Internet 都拿来训练它,它对你的帮助反而会比只用你的数据训练更大。所以这里会出现一种类比:对于 model 来说,data 是什么;对于 harness 来说,models 就是什么。
但有时候,你会想要这样一种模型:它真的能意识到,嘿,你给我的那 20 项清单,其实不管怎样,我这里有个更好的做法。你知道,5.6 更偏方法论、更按部就班。如果你为每一种情况都构建一个 harness(测试/约束框架),那么这个 harness 实际上也会各有擅长和不擅长的地方。比如说,agent(智能体)通常会做的一件事,就是它们会有一个 to do list(待办清单);如果你给它一个任务,它就会去生成一个待办清单。而 Claude code harness 在某些情况下可以——或者说,这一点现在也许没那么相关了,但我觉得在更早的时候,这是一个更有说明性的例子。
更早的时候,它会非常严格地确保自己坚持那个 to do list,因为模型本身通常会跑偏。与此同时,Codex 不会这样,因为模型本身在这方面真的非常非常 OCD。但如果你是用户,你会希望无论如何都有一致的体验。比如,你会想确保如果切换到另一个模型,不会突然就丢掉自己正在处理的那些事情的脉络。所以在某些情况下,你可能确实非常需要稳健的 tool use(工具使用),而且你会用一些工具来处理这些 to do list。
你会希望 tool use 非常稳健,而且无论如何,如果我是用户,我都想在那里看到我的 to do list。因为确实有些情况下,它就是会莫名其妙没有那个 to do list。所以这些东西其实是在提升整体表现。而 to do list 之所以重要,是因为你可能正在做某种很疯狂的 migration(迁移),结果你没有 to do list。然后你又处在一个很长的 session(会话)里,中间还有 compaction(压缩),这些内容可能会在 summarization(总结)时丢失。然后你就忘了自己的第七步是什么,而这就可能成为一种 failure mode(失败模式)。
我们会拿这个开玩笑:说到这种 intelligence 分配,如果你想给你女儿找一个 algebra(代数)家教,你大概率能找到一个比 Albert Einstein 更便宜的人来做这件事。她以后当然也可能真的成为某种顶尖 physicist(物理学家),那样的话,嗯,也许我们确实该把 Albert Einstein 请来。但更可能的是,你找个高中生之类的人就够了。而且对你来说,这样做的成本效益很可能也高得多。所以——
我认为,智能的前沿能力对每一家企业来说天然都会始终有价值,因为利害关系会越来越高,而你思考问题时所需的那种复杂程度也会变得更重要;但与此同时,我们也会更擅长把某些任务卸载出去。这个其实已经可以从组织结构中粗略理解:一般来说,engineering leaders 往往是资历更深的工程师,理论上拥有更多智慧,而且他们每一分钟的脑力从理论上说都有更高的杠杆效应。你也可以设想一下,一个 human engineer 在一天当中,脑力使用强度是如何分布的。很可能其中大部分时间都比较低,但也会有一些时刻非常高强度——比如他们在高度专注地思考某个 systems design 问题之类的事情。
我们不想为了这个去雇 AI engineers(AI 工程师)。我们的核心能力是 consumer logistics,这才是我们想专注的东西。我认为,这是一个让每家公司都能进一步押注自身核心能力、聚焦真正重要事项的机会,然后把那些对自己并不重要的东西向外部采购。一个很简单的例子是,我不知道,在早期 Internet 时代,你大概得会编程才能做一个网站。
说到这个,你知道,每家公司某种程度上都得经历这样一个自我重塑的过程。十年或二十年前,人们谈的是 digital transformation。现在我不知道有没有人给它起一个新的 buzzword,但大概可以叫 AI transformation,类似这种。几年前,你会碰到一大批根本还没准备好应对 autonomous agents 的组织。你已经看到客户开始发生的一些变化。
现在很多 AI 消费量都在疯狂上涨,大家都超级、超级兴奋,因为我们的营收也在狂飙。比如说,这里面很大一部分其实是同步使用(synchronous usage)。换句话说,如果明天所有人一觉醒来都病倒了,那很多 Claude code 的使用量就会变成零。因为这一切本质上都只是:嘿,Claude code,或者,嘿,Codex,或者,嘿,Droid。对吧?
比如,如果你去对一个 agent 说,嘿,替我做这个,它确实更有 agentic 的特征,因为它不会回来问你一大堆问题,但本质上还是你在启动它。像,如果你们有人去过 Tesla 的工厂——这也是这个名字灵感的来源之一——你会看到到处都是机械臂在运转、在做事。不是说还有人在那里手动把某个小部件装到另一个东西上。那种所谓 dark factory(黑灯工厂)的概念——灯关着,但事情自己在发生——这就是软件开发要去的方向。这个名字某种程度上也是这么来的:Elon 一直在说,工厂才是制造机器的机器。
我觉得短期内会有很多动荡,因为我认为很多公司在资源配置上做得非常糟,资源错配很严重。也积累了很多臃肿问题。而我认为接下来发生的那种纠偏,对很多人来说会非常痛苦。我也认为,这是每一个 AI CEO 都应该比现在承担更多责任的事情。同时也应该去想办法应对它,并在某种程度上缓解它,因为这会让很多人非常难受。
太棒了。Matan,我觉得,你的愿景一直以来都非常清晰且前后一致,这始终都很鼓舞人心。再看到你作为一名领导者成长了这么多,以及 Factory 作为一家公司成长了这么多——哪怕只是和我们上一次录制这期 Training Data 节目相比——也真的令人惊叹。所以,非常感谢你再次加入我们,分享你最近在做的事情。