Waymo's Dmitri Dolgov: 20 Million Rides and the Road to Full Autonomy

接下来我们有一位非常令人惊喜的嘉宾。一位正在影响无数人生活、而且长期坚持在这条路上的 founder。这里有多少人坐过 Waymo？好。嗯，这就让人松了一口气。

厨师也吃自己做的菜。

我吃。我经常坐。

好。那么有多少人喜欢 Waymo 的体验？太棒了。我现在已经是 daily active 了。真的不可思议。

太好了。谢

谢。今天来到我们这里的，是这项成果的创造者；这样说吧，那些从 2022 年才开始做 AI 的 founder 们，相比之下，他已经在 autonomous vehicle（自动驾驶汽车）这项挑战上耕耘了将近二十年。他不仅一直在做这件事，而且无论是在顺境还是在艰难时刻，他都始终坚持；而且他创造出了地球上独一无二的东西。真正卓越。请和我一起欢迎 Dmitry Dolgoff。

谢谢。很高兴来到这里。

好，Dmitry。我们大概有二十五分钟一起聊聊。目标是更多了解一下你，了解什么驱动着你，是什么让你从二十一年前 DARPA challenge 早期开始一路坚持下来，走过 Waymo 的早期阶段，直到今天以及未来。我们先从你本人开始，然后很快就会进入技术话题。听起来怎么样？

听起来不错。

好的。那么，Dmitry，你在团队中的形象是：技术上非常出色、强度惊人，但同时也非常善良而谦逊。你出生在 The Soviet Union，在 The States 长大，后来又选择回到 Moscow，进入地球上最负盛名、最严格的 physics 项目之一。你人生最初那几年是如何塑造你的？它又是如何塑造你的性格的？

我父母上的是同一所学校。所以在很大程度上，这推动了我后来回去上 high school 的决定。其实我小时候辗转过不少地方。我在 Japan 待过一年，之后在 The States 上了 high school，然后又回到 Russia 上 college，学 math 和 physics。那也正是我父母上过的那所学校，而我从小几乎就是听着各种关于在那里学习是什么样的故事长大的。

我当时真的很想回去。我觉得，就它对我的塑造而言，它确实为我打下了基础，尤其是技术基础。而在 college 的早期阶段，最重要的事情之一，就是获得学习能力，以及独立探索的能力。所以我认为，这对我后来的职业生涯帮助非常大。

后来，你在 Moscow Institute of Physics and Technology 完成了这个强度极高的项目，然后决定继续沿着 AI（人工智能）这条路走。你的 PhD 也是 AI 方向的。再之后，你又很快被 autonomous vehicles（自动驾驶车辆）所吸引。2005 年，你参加了 DARPA challenge。能和我们讲讲那些早期的日子吗？

是什么吸引你投身 autonomy（自主系统/自动驾驶）的？

对我来说，那有点像电灯开关被一下子打开的时刻。早些年我刚上 college、以及读 grad school 的时候，更多是在学习基础知识。我当时其实完全没有一个清晰的图景，不知道自己之后想做什么，对吧？然后我觉得时机实在是太幸运了——就在我快要完成 grad school 的时候，urban challenges、ground challenge，然后是 urban challenge，也就是我参与的那个，正好都在发生，于是一切突然就连上了。

这项技术本身极其有趣，而它的使命又如此强大，以至于其他事情都无法与之相比；而且那还是一个真正的产品。你可以亲自上手，亲身体验它。所以对我来说，它真的满足了所有条件。就像你说的，那已经是二十多年前的事了。

谁还会去数呢？从那以后我就再也没有回头看，这也就是我从那时起一直在做的事。

太了不起了。Waymo 起步于 Stanford Automotive Lab 的一个项目。这栋楼里当时有两个方向：一边是 autonomy（自动驾驶）方向，另一边是 solar car（太阳能汽车）方向。顺便说个有意思的事，我当时是个理想主义者。

我做的是 solar car。结果我这个赌注下得大错特错。你押注的是 autonomy。给我们讲讲 Waymo 最初那几年的情况吧，从 2009 年到那些奠基性的早期阶段。

我们是 2009 年开始的。那在当时还是 Google self-driving car project。最初的那几年，一切都围绕着学习这个问题领域展开，去理解——你知道——试着把 autonomous vehicle（自动驾驶汽车）放到公共道路上到底意味着什么。所以我们一开始就是为了这些目标服务：学习、理解这个问题空间。为此我们给自己设定了几个目标。其中一个是累计完成 100,000 英里的 full autonomy（完全自动驾驶）行驶，这在当时是前所未闻的。

第二个目标是跑完 10 条路线。每一条都有 100 英里长，分布在整个 Bay Area，而且都是特意挑选出来的高难度路线。我们必须把每一条都从起点到终点以 full autonomy 的方式完成。当然，当时车里仍然有一个人坐在方向盘后面，必要时可以接管控制。

但挑战在于每一条都要在没有 intervention（人工接管）的情况下完成。我们当时团队很小，大概只有十来个人。那是早期那种疯狂的 startup 日子，所有人都 24/7 地拼命干活，白天写代码、搭硬件，晚上再去做测试。我们大约花了十八个月才完成这两个挑战。

难以置信。当时这看起来几乎是不可能的事。现在你们已经跑了数亿英里了。完全没错。好。

所以在 Waymo 的早期，你们一开始面对的是极端艰巨的挑战，而且开始逐步做出成果。再往后几年，你在团队里以特别能硬扛、特别能熬而出名，甚至睡在办公室。给我们讲讲 Dmitry 在 Waymo 最初几年的状态，以及你是如何形成自己的领导风格的。

我得说，那些早期日子大概是我整个职业生涯里最有趣的一段时光。那就是早期 startup 的那种势头和节奏，对吧？你每一天的每一个小时都在取得大量进展，而且什么都要做，对吧？你要在车里安装硬件，然后配置和校准传感器，以及，你知道，你们的 pose estimation（位姿估计）系统。然后白天还要写软件，总之什么都得做，对吧？

包括软件的核心，也就是驱动车辆的那些算法；还包括所有工具、UI（用户界面）以及车内的 user experience（用户体验）。所以你真的是什么都在做。你的学习速度快得惊人，进展速度也快得惊人。那就是 Project Chefer 的早期阶段。

然后，在那几年的过程中，我们说服了自己：没错，这件事值得继续做下去。于是我们加倍投入，开始真正朝着 fully autonomous（完全自动驾驶）产品的未来去构建。

好，所以最初那几年很令人兴奋，强度很高，节奏很快，而且技术上真的非常困难。现在把时间拉到 2016 到 2017 年那一阵子。那是 AI 实际上经历了一轮 hype cycle（炒作周期）的时期。后来发现，这样的周期其实出现过不止一次。而 AV（autonomous vehicle，自动驾驶车辆）正处在那一轮炒作周期的中心。

我记得当时有非常多公司都在追这个方向。然后后来出现了大幅低潮。而当大多数人放弃了、失败了，或者团队散掉了的时候，你们坚持了下来。而且你是这种坚持中的领军人物之一。对于在场所有 builder（建设者、创业者）来说，你们是怎么穿越那些艰难时期的？

首先，我想谈谈在我看来这些周期是什么样的，以及我一直以来是如何观察它们的。你刚才说这种周期有很多次，在 AAV 里有一些，但更广义上也有很多。通常，引发这种周期的，是某种突破；这种突破会让问题前期的部分出现非常快速的进展，也会让资金在问题前期阶段迅速涌入。在 AV 领域，这个问题一直有一个特性：非常容易起步，但要一路把它做成真正的产品、实现 full autonomy（完全自动驾驶），并达到 superhuman performance（超越人类的表现），却非常困难。所以，考虑到这些因素，每当技术上出现重大突破——无论是 convolutional nets（卷积网络）、transformers，还是 large language models（大语言模型）——都会引发这样的周期，这其实是某种程度上很自然的事。

好，问题在于，它会让人觉得“这下问题要被解决了”，而且它确实会重塑这条曲线的前半段，但并不会改变它漫长的长尾部分。所以对我们来说，关键是理解：这不会是一个容易的问题，但它是一个非常重要的问题。要相信这个 mission（使命）。因为今天，在全球范围内，我们道路上每 26 秒就会有人因车祸失去生命。所以我想，真正起作用的是这样一种结合：一方面知道这个 mission 真的、真的非常重要，另一方面也清楚你面对的是什么，不去寻找那种轻松的胜利、快速的解法或 silver bullets（灵丹妙药），这些才帮助团队拥有

正确的 stamina（耐力），一路坚持到底。太精彩了。所以你们当时处在这样一个时刻：入场其实很容易，很多人都做到了这一步，但你们真正坚持了下来，并且穿越到了另一边，做出了真正神奇的体验。这个房间里几乎每个人都举了手。真正神奇的体验，正是因为这种坚持。

我们今天来谈谈技术。很多人都在谈 world model（世界模型）。其实，构成 world model 的各个组件，你们很多年前就已经具备了。你如何理解 world model？Waymo 版本的 world model 又是什么？

对。现在人们会用到几个术语。大家会谈 world model、world action model、omni model，你知道的，还有 visual language action model。在这些概念的核心，都有一个组成部分，与 Waymo 以及我们在 AI ecosystem（AI 生态系统）中一直在构建的东西密切相关，而且非常重要。我们 AI ecosystem 的核心，是我们所说的 Waymo Foundation model，它支撑着我们 AI 和技术的三大支柱。

它们是 driver、simulator 和 critic。这三项任务彼此关系非常紧密，但又各不相同。所以，我们的 foundation model 在核心能力上必须做到一些事情，比如它需要理解世界是如何运作的，理解物理规律，以及物理世界的动态过程。

还有，

它还需要理解，什么才算是一个优秀的 driver，以及这个 driver 或我们的 agent（智能体）的行为，会对世界中的其他 agent 产生怎样的影响。然后，我们还需要把这些能力实例化到那个被我们投放到道路上的物理 agent 中。从某种意义上说，我们这些年来一直在构建的这个 foundational model，就是一个 multimodal world action language model。明白吗？它之所以是 multimodal（多模态）的，是因为它不仅要能够对图像或视频进行推理，还要能处理其他传感器，例如激光雷达和 radar（雷达）。

它是一个 world action model，是因为它确实必须对世界的 3D 空间属性、动态、物理规律，以及其他 agent 的行为特征——比如汽车、行人、自行车骑行者等等——具备深刻而精确的理解。而且，我们并不只是被动地对这些世界进行建模，我们还是其中的主动参与者。所以，我们不仅需要这个 world model 是可控的，还需要深刻理解：在这样的世界里，成为一个优秀的 agent 到底意味着什么。最后，它还与 language（语言）对齐，而这让我们能够把 VLM 的通用世界知识引入到我们的模型中。这一点非常、非常有用，因为它能显著提升我们对语义以及驾驶中深层社会性因素的理解。

对吧？而且，这些年来我们一直在推进这个模型的 productionizing（产品化/生产部署），而这确实要求我们刚才谈到的每一个方面都具备极高水平的性能、精度和真实感。

太精彩了。那么，在这种 driver-simulator-critic 架构下，关于 end-to-end architecture（端到端架构）也一直有很多讨论。把二者对立起来，是否是一个恰当的二分法？我们应该如何思考，采用什么样的方法，才能实现极致的性能效率，以及完全可泛化的 autonomous vehicles（自动驾驶车辆）？

我想把这一点说得非常清楚：刚才描述的那个 world model，也就是以 Waymo Foundation model 为基础的模型，是一个 end-to-end 模型。所以当我们谈论 end-to-end 模型时，通常指的是一个从 sensors（传感器）直接到 decisions（决策）或 actions（动作）的单一模型。而这种模型有一些非常好的特性，其中最重要的一点是，它能够在系统不同组件之间——比如 encoder 和 decoder，或者系统中的 perception（感知）与 planning（规划）部分之间——学习到正确且丰富的 representations（表征）。这和那种接口由人工设计出来的方式不同，而对于 driving（驾驶）这样的任务来说，人工设计的接口是不够的。

不过，我确实认为这里存在一种错误的二分法。好像只有 end-to-end，或者别的什么。其实在我看来，问题一直都应该是：用了 end-to-end 之后，还需要什么？如果你想构建一个真正 fully autonomous（完全自动驾驶）的产品，具备 superhuman（超人类）级别的安全性，并且能够大规模部署、行驶数亿英里，那么你还需要额外构建哪些东西？

而事实证明，那种最基础、最 vanilla（原始/朴素）的 end-to-end 系统是不够的。对吧？所以，使用 end-to-end 和纯粹依赖它之间有着巨大的差别。在 Waymo，我们实际上已经超越了那种基础的 vanilla 式 end-to-end 方法；我们在 learned representation（学习得到的表征）之上，又加入了结构化、可物化的 intermediate（中间层）表示。这让我们能够做到一些非常重要的事情——如果你做的是另一类产品，比如 driver assist（驾驶辅助）系统，或者 prototype（原型）、demo（演示）、小规模部署，也许未必需要这些东西。但如果你真想一路走到 fully autonomous、足够安全、并且具备 superhuman 表现的系统，这些东西就是绝对关键的。

这些事情包括：在 run time（运行时），对运行在汽车上、处于物理世界中的 agent 进行额外验证；还包括更丰富的 training（训练）和 evaluation（评估）方案。而在一种纯粹、基础的 ATN 系统里，这些往往非常难做，或者根本不现实。相反，这种结构化、可物化的表示能够在 closed-loop evaluation（闭环评估）、closed-loop training（闭环训练）、以及用于 reinforcement learning（强化学习）的丰富 reward functions（奖励函数）等方面带来提升。所以这就是我们采取的方法。

而且，你从 support（支持团队）、drivers 反馈，以及所有这些渠道获得的人类反馈，也都需要这种类型的架构来处理。完全正确。很有道理。所以你们不仅在 software stack（软件栈）上进行了创新，也在 hardware stack（硬件栈）上做了创新。现在已经到了 Waymo Driver 的第六代，而且你们一直专注于“成为那个 driver”。

跟我们讲讲这个新的第六代吧，以及你第一次与它交互时是什么感觉？

是的。第六代是我们迄今为止最先进的 hardware suite（硬件套件）和 sensor suite（传感器套件）。它的重点一方面是性能，另一方面也是简化、显著降低成本，以及实现高规模量产。这一代 driver 正在为我们最新的 vehicle platform（车辆平台）提供支持，也就是 OHAI。

我们在今年早些时候开始了 fully autonomous operations（完全自动驾驶运营）。目前它只对员工开放，但会在今年晚些时候向我们所有 riders（乘客）开放。然后，是的——在我们刚开始 fully autonomous operations 时，我就有机会乘坐其中一辆。你知道，我人生中有很大一部分时间都花在体验我们不同代际的车辆上。每隔一段时间，都会出现那种全新的“第一次”时刻，而那次绝对就是这样的时刻。

只是这辆车的设计完全是围绕乘客体验展开的。尽管这辆车的外部占地尺寸大致和 eyepiece 差不多，但你一坐进里面，就会感觉像走进了一个客厅。对吧？后排空间非常大。我们还有新的屏幕。

我们还有这种车门，你知道，是滑动开启的，而且当你走近车时，它还会自动打开。所以我我我玩得特别开心，我我迫不及待想让这辆车加入我们的 fleet（车队），向所有人开放。

所以你们现在正处在一个规模惊人扩张的阶段。很多年以来，你们显然一直都在实验室里，做 r and d（研发）。差不多花了十六年才达到 100,000,000 英里，差不多六个月就到了 200。规模还在非常快速地持续扩大。现在已经有 11 座城市了，而且未来还会有更多很多城市。

跟我们讲讲，把一座新城市扩展上线到底是什么感觉？然后也说说你和 Waymo 的日常生活吧。作为 creator（内容创作者），你会怎么使用它？

嗯，内容很多。好。先说指数级扩张。首先，绝对是的。这对我们来说，在扩张方式上已经是一种 phase transition（相变）。

所以再给你几个额外的数据点：从我们开始 fully autonomous（完全自动驾驶）运营的那一天，到我们的 service（服务）、也就是我们的 driver（驾驶服务）在四座城市向公众提供 rides（出行服务）的那一天，我们用了八年时间。而就在今年早些时候，也就是几周前，我们在一天之内上线了四座城市。我们已经完成了超过 20,000,000 次 fully autonomous rides（完全自动驾驶出行）。其中有 10,000,000 次发生在过去七个月里。太惊人了。

所以，这就是所谓的指数级扩张。

太惊人了。

推出新城市时，会出现一些运营层面的环节。你得收集数据、刻画环境、验证 driver（驾驶系统）。其中很重要的一部分，是开始与当地社区展开对话，因为这是一件新事物，是一种新产品。所以，赢得当地人们的信任，是我们的责任。

而且如今更多时候我们看到，driver 的泛化表现好得惊人。在部署 fully autonomous product（全自动驾驶产品）之前，问题主要只是进行高保真、严格的评估与验证。然后我们再从那里继续推进。然后最后一个，刚才最后那部分是什么来着——哦，这是什么？My DA Live。

Creator。所以这是一个多部分问题。对。Waymo——我的意思是，Waymo 是我如今的出行方式。我今天就是这么过来的。

那是一段很棒的行程，从 Palo Alto 经由 freeways（高速公路）一路到 San Francisco。我的家人也用它。我有三个孩子，他们都很喜欢 Waymo。他们——他们——他们现在，我觉得，如果在少数情况下我们不得不坐一辆由我自己、我妻子，或者别的 human being（人类）来驾驶的车，他们反而会觉得有点烦。

就像，Okay，这

这是怎么回事——我此刻也有同样的感觉——他们

他们很喜欢它。它一直都是他们生活的一部分，可以说贯穿了他们的整个成长过程。我们开车出行时，现在只有两样东西会引来我孩子们的特别提醒。只有两样：doggies（小狗）和 Waymo 车。

不错。

Okay。大概这两者引发的认知投入也差不多。Okay，那我们来谈谈安全。与 Waymo 合作最有意义、最令人兴奋的一点之一，就是这样一个事实：地球上每年有 119 万人死于道路交通事故。

对吧？这真的是生死攸关的事。而且它不仅关系到这个房间里的每一个人，几乎每个人都认识曾受此影响的人。从一开始，你们就一直把 safety（安全）放在核心位置，而这其实非常难。在 Silicon Valley 那种“快速行动，搞坏点东西再看会发生什么”的文化里，你们在 safety 这件事上却一直表现得极其耐心。

你能不能讲一个让你真正切身感受到这件事的故事？以及你们是如何在 Waymo 维持这种 safety culture（安全文化）的？

你提到的那些数字，正是驱动 Waymo 我们所有人的东西，而现状并不够好，对吧？这种理念是我们随着时间逐渐建立起来的，但挑战现状对我们公司里的每个人来说都非常重要。你说得完全对，构建这样一个系统的方式，和你在其他领域、其他行业里可能采取的方式是不一样的；在这里，safety 必须是不可妥协的基础。而且从第一天起，你就必须把它嵌入到所做的一切之中。

包括你的 model architecture（模型架构）、你的 training and evaluation recipes（训练与评估方案），以及团队的 mindset（思维方式）。人很容易会想，先把 capability（能力）做出来，尽快达到 90%。但怎么完成前 90%，和怎么继续做到下一个 n nines（多个 9 的高可靠性指标），完全是两个不同的问题。所以从第一天起，就牢记这一点，并把 safety 作为不可妥协的基础层来优先考虑，这一点至关重要。然后，到今天为止，我们每周在 full autonomy（完全自动驾驶）状态下的行驶里程已经超过 4,000,000 英里。

这样你就会看到大量来自真实道路环境的事件。到今天为止，我们已经积累了超过 170,000,000 英里的 fully autonomous miles（完全自动驾驶里程）数据；这些数据表明，在我们运营的城市里，就导致严重受伤的碰撞而言，Waymo driver 的安全性比 human driver 高出 13 倍以上。而且你会看到这种某种意义上的“超人类”安全行为，天天都在道路上体现出来，对吧？我就见过一些例子，比如前不久我看到一个案例：一个人，我记得是一位骑 electric scooter（电动滑板车）的年轻女性，在路上失去控制，绊倒之后直接摔到了 Waymo 车前。

而 Waymo driver 展现出了超人类级别的精确度和反应时间，能够猛然制动，让所有人都平安无事。所以像这样的事情，对我个人以及整个团队来说，都非常有回报，因为这意味着我们真的在道路安全上产生了实际影响。按照我们目前的运营规模，这个 13 倍的下降幅度意味着，我们每 8 天就能避免一次严重伤害。哇。

随着我们规模扩大，这种影响还会继续增长。哇。

我们马上会把时间交给现场观众提问，先开放几个问题。不过在开始之前，我听说过一个故事：LiDAR 或者 radar 探测到了一个人在公交车后方的脚步声——这是真的吗？它是怎么做到的？

是的。这是那种让我对我们系统正在涌现的能力感到惊喜的时刻之一。当时的情况是，我想是在 San Francisco。Waymo driver 正停在一个十字路口。有一辆 bus 开了过去，而我们当时就在那儿等红灯。

然后那辆 bus 开过去后停下了，部分挡住了路口，也挡住了我们这边的信号灯路口。接着我们这边变成了绿灯。Waymo driver 开始前进。而在前进过程中，它检测到 bus 另一侧有一名 pedestrian（行人）。

你知道，你没法透过那辆 bus 看见后面；不管是 lidar（激光雷达）、radar（雷达）还是 camera（摄像头）都看不到。而且车窗还在反射 bus 里的人影。于是系统开始做出防御性反应。果然，一名 pedestrian 从 bus 后方走了出来，然后我们得以轻轻绕过他，大家也都继续各自上路了。

所以当我看到那一幕时，我真的震撼了。我也不完全确定发生了什么。尽管 Waymo driver 的能力几乎像超人一样强，它也并不能看穿实体物体。后来实际弄清楚的是，我们的 lidar 在 bus 底部捕捉到了信号，并从那个人脚部在 bus 下方移动时获得了一点稀疏的返回信号。

而这就已经足以让 Waymo AI 不仅检测到那里有一名 pedestrian，还对接下来会发生什么做出预测，并保证所有人的安全。

太震撼了。简直难以置信。我们还有时间接受现场一个问题。如果有人有的话。Key? Jim，抱歉，没有免费兑换码。

这次没有。对。好的，Jim，请讲。

谢谢。这个麦克风有声音吗？有。

我刚刚只是

在说，祝贺你取得的所有成就。这真的令人震撼。如果你去想接下来五到十年的发展，请真正聚焦在 business model（商业模式）上。里程碑会是什么？在 major cities（主要城市）里会发生什么？

跟我们今天所处的位置相比，会有哪些不同？请大致带我们梳理一下你对未来的愿景。

所以我们现在正全力埋头执行。我们已经从对 driver（驾驶系统）以及业务关键部分进行有意的、按顺序的降风险，转向快速并行的全球商业化。这意味着要把 Waymo Driver 部署到 The United States 更多地方。到今天为止，我们已经在 11 个城市实现 fully autonomously（完全自动驾驶）运营，并为乘客提供服务。接下来我们还会在这些现有地区继续扩张。

我们会增加新的 geographies（区域市场）、新的城市。我们也在向国际市场扩展。我们已经宣布，今年计划在 London 和 Tokyo 提供服务。所以你会看到我们会加速这项部署，而这一切都是为了服务于我们的 mission（使命）。

这对我们 London 团队来说是个好消息。Dmitry，我们今天谈了很多，从非常早期的那些日子开始，那时用不算多的技术就能走出很远的距离；再到在 autonomous vehicles（自动驾驶汽车）领域极其艰难的时期里依然坚持，并最终再向前多走一英里。我们谈到了 world models（世界模型）、driver simulator critic architecture（驾驶系统、模拟器与评判器架构）。我们还深入聊到了 hardware（硬件）、第六代硬件、安全，以及 scaling（规模化扩展）。但最重要的是，我希望我们也更多了解了一点 Dimitri 这个人——正是他把名为 Waymo 的魔法带给了我们这么多人。

而且随着我越来越了解你，我不断感受到的，不仅是你的才华、你的坚持和你的表现，还有你的谦逊。能取得如此巨大的成就，却依然如此，这说明了很多。谢谢你，Dmitry。请大家和我一起感谢 Dmitry，感谢他所做的一切。谢谢。

谢谢。而且还挽救了许多生命。谢谢。