自駕車的難，
不在上路，而在走完最後幾個 9
Waymo 共同執行長 Dmitri Dolgov 在 Stripe Cheeky Pint 裡，把無人車拆成一個底層 foundation model、三個老師，以及為什麼還需要 LiDAR。最關鍵的一句話是：自駕「上手很容易，走完全程極難」。
SCROLL
Waymo 共同執行長 Dmitri Dolgov 在 Stripe Cheeky Pint 裡，把無人車拆成一個底層 foundation model、三個老師，以及為什麼還需要 LiDAR。最關鍵的一句話是：自駕「上手很容易，走完全程極難」。
Dmitri Dolgov 2009 年以最早的工程師之一加入 Google 自駕專案，2021 年成為共同執行長。20 年後，他給出的判斷很乾脆：他想不到任何駕駛場景，是核心技術還沒被支撐的。
00:23:43 他說 Waymo「已經明顯走過了科學研究與核心技術開發的階段，進入加速全球部署的新階段」。工程還沒做完，但他看不到核心技術上的缺口。00:24:36 今年會在倫敦與東京開始營運——換到左駕對電腦來說「其實不難」。
他口中的「ghost city」是剛起步、尚未開放的 Nashville。這個對比是整集的伏筆：技術能力的曲線，和部署速度的曲線，已經分開了。
00:03:35 Dmitri 刻意把產品定義成 driver，而不是 car。這個司機用三種互補的感測模態看世界：相機、LiDAR（雷射）、雷達，外加方向性麥克風陣列；全都是 360 度覆蓋。資料進到車上電腦，由 encoder 編碼、再由 decoder 生成「怎麼開」的動作。00:05:26 與駕駛相關的即時推論「全部在車上」，雲端不是必要——頂多用來事後檢查你有沒有把手機忘在車上、車內是不是該清潔。
真正有趣的是訓練架構。00:06:48 一切從一個大型的 off-board foundation model 開始：它理解物理世界怎麼運作、什麼叫好駕駛與壞駕駛、駕駛裡的社會互動。接著特化成三個「老師」，再各自蒸餾出車上能高速推論的「學生」。
00:09:39 三個老師都下游自同一個 foundation model——這也是為什麼底模的一次投資，能在司機、模擬器、評論者三條線上同時放大。
網路上吵不完的 end-to-end vs 模組化，Dmitri 認為問題往往「丟掉了真正重要的細節」。00:12:36 所謂端到端，是指梯度能反向傳播穿過所有層，不被硬塞進一個狹窄漏斗；00:13:15 最素樸的版本就是「像素進、軌跡出」。
00:13:54 Waymo 發過一篇叫 EMMA 的論文，正是拿一個現成 VLM、把它微調成「不要產生文字，改產生軌跡」。Dmitri 說它在一般情況下「開得好到令人吃驚」——但「離你真正需要的差了好幾個數量級」。00:15:02 他形容：那像一匹會說話的馬，神奇之處在於牠居然會說話。
00:15:22 為什麼像素到軌跡會有效？因為開車的難處跟「對話」很像：多方、社會性、互動性，你的動作會牽動別人，歷史與情境都重要——只是它的語言不是文字，而是肢體語言。但這只夠應付一般情況，撐不住長尾的極端案例，也達不到他們要求的超人類安全標準。
00:16:37 那還缺什麼？你需要閉迴路：像 LLM 世界的 RLHF 一樣，這裡用的是 RLFT（Reinforcement Learning-based Fine-Tuning）。要做好 RL，你需要一個擬真的模擬器來探索各種情境，還需要一個 critic 來定義 reward。00:18:06 如果系統純粹端到端、只能在「像素↔軌跡」這個超高維空間裡跑，模擬與評估都會貴到不可行。
解法是引入「中間表徵」：世界裡有些東西我們確定是對的——這裡有個物件、有條路、有號誌、有速限。用這些結構去擴充學到的 embedding，就多出三組旋鈕：能在這個空間模擬、能加上即時安全驗證層、能更精準地指定 reward。00:19:13「是端到端嗎？是。然後要做到規模化的全自駕，再加上這一堆東西。」
00:37:36 三種感測器物理特性互補：LiDAR 每秒打出數百萬道雷射脈衝，採樣世界的 3D 結構、解析度極高；雷達解析度低，但在霧、雪、大雨等惡劣天氣裡衰退得更慢。00:40:00 晴天相機很有價值；一片漆黑、逆光或被對向車燈照瞎時，相機衰退、LiDAR 完全不受影響。重點是——他們不是在三套估計裡互相比對，而是各有 encoder，一起匯入系統，給出對世界「最好的聯合視角」。
00:43:26 最讓 Dmitri 興奮的，是 emergent behavior。他舉了一個舊金山的例子：紅燈時一輛公車停下、部分擋住車道；綠燈後 Waymo 繞行，竟「偵測到公車另一側有行人」，於是減速、繞得更開，行人果然從公車後走出來。
00:44:14 他第一次看 log 時不敢相信：相機看不穿、雷達也穿不過那個大金屬箱。00:44:58 真相是——周邊的 LiDAR 從公車「底下」反彈，捕捉到一點點行人腳步移動的雜訊反射，這就足以讓 AI 判斷「那裡很可能有個行人」，甚至預測他接下來會怎麼走。
這正好印證了 PART 3 的論點：那個躲在公車後的人，在像素空間裡並不存在。要對他做推理，你必須擁有一個「世界的中間表徵」，並讓感測器融合把訊號補起來。純黑箱的開迴路模仿系統要達到這種表現，Dmitri 的評價是：不是不可能，但「非常非常困難」。
John Collison 拋出一個流行的看法：自駕會「兩頭夾擊」——一邊是輔助駕駛（driver-assist）往上爬到 L2、L3，一邊是 Waymo 這類全自駕往外擴張，最後在中間會合。00:48:41 Dmitri 的回答很直接：「我不認為會這樣。」
他承認硬體與產品線上確實有收斂的路徑：車會更聰明、感測器會更整合更便宜；叫車服務有一天也會出現在你的私人車上。00:49:44 但就技術而言，輔助駕駛與全自駕是「兩個根本不同的問題」，把它們想成同一條複雜度光譜上的漸進，是「會騙人的」——從輔助駕駛跳到全自駕，是一次「質變」，不是多踩幾步。
為什麼這麼難？01:00:20 因為長尾就是「9 的數量」問題。工程界的經驗法則是：每多一個 9，就要再多付出 10 倍。「上手非常容易，容易到具有欺騙性；但要走完全程，極其困難。」這也解釋了為什麼第六代硬體（Ojai 平台）能把成本壓到「只是一套高階 ADAS 的等級、原本的一小部分」，車內卻寬敞到「像走進客廳」、有滑門與平整地板，今年就會上路（之後還會放上 Hyundai Ioniq）——但這些都是優化，真正的護城河，仍是那最後幾個 9。
第二序效應同樣值得記住。00:56:18「Slow is smooth, smooth is fast」——若多數車都平穩可預測，交通的「停停走走」駐波會被快速抹平。00:57:03 更長期，城市最精華的土地現在被停車場與車庫佔據，因為車有 90% 的時間只是停著；當多數車變成全自駕，這些金屬箱就不必再霸佔你最愛的城市。
上手非常容易，容易到具有欺騙性；但要走完全程，極其困難。每多一個 9，都要再多付出 10 倍。
這不是說自駕沒解，而是提醒你：Demo 的驚艷與全自駕的可靠，中間隔著好幾個數量級。
選完之後，分享你對「自駕到底難在哪」的判斷
這頁整理自 Stripe 的 Cheeky Pint 系列〈The 20-year journey to fully autonomous cars with Dmitri Dolgov of Waymo〉。原始節目保留了 John Collison 與 Dmitri 對 Waymo 架構、模擬器與 critic、感測器融合、第六代硬體與全球擴張的完整對話。
收聽 / 閱讀原始節目 →