我們教導機器人組裝 GB300 測試托盤，以及從中學到的機器人學習、機械智慧與傳統工程經驗。
NVIDIA Grace Blackwell GB300 超級晶片是現代基礎模型進行 AI 訓練與推論的核心引擎。然而，全球工廠組裝 GB300 托盤的流程仍需要熟練的實體勞動。NVIDIA Seattle Robotics Lab (SRL) 與 NVIDIA Isaac 工程團隊合作，提出一項核心問題：我們能否打造智慧機器人來組裝如此複雜的系統？
答案是可以的，但過程充滿挑戰。讓機器人組裝 GB300 托盤，是 SRL 作為高產出的研究實驗室九年來處理過最困難的問題之一。這項問題也挑戰了我們對端到端學習最能發揮效力之處，以及模組化技術堆疊可能更有效之處的既有假設。
眼前的問題：莫拉維克悖論再現
我們聚焦於組裝 GB300 測試托盤，這類托盤用於在出貨與部署前驗證 GB300 運算模組的功能與效能。根據 NVIDIA 營運團隊及 GB300 合約製造商 Foxconn 的建議，我們鎖定兩項關鍵任務：(1) 匯流排組裝；(2) 多接頭插入。
在匯流排組裝中，必須抓取一根長而沉重、用於傳輸高電流的金屬匯流排，將其運送至托盤、插入並在 16 個位置鎖上螺絲；同時還須裝入及移除治具與夾具。在多接頭插入中，則須從托盤拿起兩個大型及兩個小型、連接纜線的電氣接頭，並插入間隙極小的插座。
實際實驗配置如下所示。
圖 1：實際實驗配置正面圖。機器人系統由兩支 Flexiv Rizon 4S 機械手臂，以及搭載 OnRobot 電動螺絲起子的 UR10e 機械手臂組成。
圖 2：實際實驗配置俯視圖。
熟練的工廠作業員能可靠且流暢地完成這兩項任務，且不需要承受顯著的心智負擔。然而，這再次印證莫拉維克悖論：人類展現的靈巧能力，可能極難實現自動化。
影片 1 與 2：[左] Foxconn 工廠的熟練作業員進行匯流排組裝。[右] 作業員進行多接頭插入。
第一項關鍵挑戰是非確定性。零件的幾何形狀、外觀與動態特性並非精確已知，且零件的初始姿態也可能存在相當大的變化。此外，電氣接頭連接的纜線會沿整段長度變形，具有顯著的製造公差，甚至會因塑性變形與疲勞而改變機械特性。
在許多製造作業中，不確定性可透過固定式自動化來消除, 同時環境也受到嚴格的控制。夾具與轉接器被設計成能將零件定位至次毫米級的精度，機器人則可重複執行固定動作。但在 GB300 測試托盤組裝中，由於快速的設計迭代週期與低產量使固定式自動化不可行，不確定性必須藉由彈性自動化來應對。機器人必須具備內在適應力，並對不確定性保有穩健性。鑑於 AI 基礎設施需求持續增長，這一典範對 NVIDIA 而言是一項戰略重點
第二個關鍵挑戰是效能表現。在機器人研究領域，50%–60% 的成功率通常已足夠，80%–90% 的成功率甚至可視為任務已解決。週期時間、動作流暢性與輕柔操作往往是次要考量。此外，統計嚴謹性往往也不足——每項任務通常僅執行 10 至 20 次試驗，而要達到合理的置信區間，可能需要遠更多次的評估。
我們的效能要求是與 NVIDIA 營運團隊及富士康直接協作制定的，以確保「已解決」真正意味著問題得到解決。截至本文發表日期，我們正快速接近他們所設定的門檻。
影片 3：人工示範我們的機器人解決方案在匯流排組裝與多連接器插接中應執行的動作。這些步驟與 Foxconn 作業員的操作方式 (如影片 1 與 2 所示) 略有不同；機器人解決方案不需要大型防護支架，且可在單一階段完成螺絲鎖附。
技術策略：在適當時機使用適當工具
在機器人研究領域，技術新穎性備受重視；這一傳統促進了發明創新，但對於優化可能達到更高效能的基準方法卻幾乎毫無誘因。因此，讀完一篇研究論文後，往往難以理解先前方法為何行不通。
我們針對 GB300 測試托盤組裝所採取的策略，是在正確的時機使用正確的工具。對於每個子問題，我們首先考慮 (且通常會實作) 傳統基準方法。當這些方法效果不足時，我們依序探索了模仿學習、基於模擬的強化學習 (reinforcement learning，RL) 搭配模擬到現實遷移 (Sim-to-real)、真實世界強化學習，以及視覺語言動作 (vision-language-action，VLA) 模型。這一遞進過程使我們得以識別各方法的優缺點，並為引入創新與複雜度提供合理依據。
我們現在將詳細討論匯流排組裝與多連接器插接；希望這些任務能作為其他研究與工程團隊解決自身真實世界操作問題的案例研究。
組裝匯流排：重新檢視經典方法
匯流排組裝包含以下步驟：
- 抓取限位治具 (即協助組裝的特定治具)，並將其插入托盤。
- 抓取附有夾具的匯流排，並將其插入托盤。
- 鎖入 16 顆螺絲，將匯流排固定於托盤。
- 鬆開並移除匯流排上的夾具。
- 移除限位治具。
圖 3：匯流排組裝的五個子步驟，各步驟的關鍵零件以紅框標示。
初始條件與製造環境一致。限位治具與附有夾具的匯流排，最初會放置在機器人旁平坦表面的任意位置，螺絲則預先置於匯流排內。
製造商要求我們達到 99.5% 的成功率，且任務完成時間不得超過熟練作業員的兩倍，在此案例中不得超過 124 秒。托盤不得發生任何非預期碰撞，因為即使輕微損壞，也可能導致整套系統報廢。
我們首先實作由獨立感知、規劃與控制模組構成的傳統工作流程，也就是「傳統工程方法」，原本預期之後會轉向端到端學習。然而，傳統工作流程成效卓越，根本不必轉向其他方法。解決方案的模組化結構，也讓系統容易除錯、調校，並能將工作分配至不同機械手臂。
在感知方面，我們起初使用 NVIDIA FoundationPose，這是一個通用模型，可從物件的網格、RGB 影像及深度影像中估計物件的 6D 姿態。然而，當物件的可見度不足時，估計結果可能偏差 90 或 180 度。為此，我們擴展了流程，使其能夠輸入多個視角，對每個視角各產生一個估計結果，並選取置信度分數較高的估計值，從而減輕了誤差。(注：我們後來過渡至一個名為 DOPER 的專用模型，詳見後文說明。)
在規劃方面，我們在自由空間中使用快速路徑點規劃器，以縮短週期時間；同時採用以利薩茹曲線與其他簡單路徑為基礎的操控基元，以校正初始可能未對準的零件。
在控制方面，我們實作了高效能阻抗控制器，以確保在插接過程中施加足夠力道的同時，保持輕柔且穩定的接觸。現代學習流程通常採用盡可能簡單的控制器，而我們的解決方案則充分運用了自動阻尼設計與慣性補償。我們認為高效能控制是機器人學習中一項強大卻未被充分利用的工具。
為縮短週期時間，我們將工作分配給三個機械臂。一隻 Flexiv Rizon 4S 負責定位相機以進行姿態估計；第二隻 Flexiv Rizon 4S 負責插入限位夾具與匯流排，並於後續移除匯流排壓扣與夾具；一隻 Universal Robots UR10e 則搭載 OnRobot 電動螺絲刀，執行 16 次螺絲鎖附作業。經與製造商協議，匯流排壓扣進行了輕微改造，使單一機械臂即可解鎖。
影片 4：我們的匯流排組裝解決方案。一隻 Flexiv 機械臂負責定位相機以進行姿態估計。第二隻 Flexiv 機械臂插入限位夾具與匯流排 (附帶壓扣)。UR 機械臂使用 OnRobot 電動螺絲刀將匯流排鎖附至托盤。第二隻 Flexiv 機械臂隨後移除匯流排壓扣與限位夾具。
我們的匯流排組裝解決方案成功率超過 95%，目前正積極進一步提升。剩餘失敗主要來自抓取錯誤，以及插入過程中物件在手中的滑動。限位治具與匯流排子任務均符合週期時間要求，但鎖螺絲作業未達標，使完整週期時間達 160 秒，高於目標的 124 秒。循序且與特定裝置相關的螺絲起子操作是主要瓶頸，但也提供了明確的最佳化方向。
插曲一：基礎架構出乎意料的強大效力
面對匯流排組裝這類艱鉅問題，設計完善的實體機器人基礎架構，讓我們能快速開發、部署及檢視系統。
第一項關鍵基礎架構是機器人服務。機器人研究人員都知道，嘗試多套函式庫往往會陷入相依性地獄。我們將函式庫轉換為可獨立部署的網路服務，能在邊緣、地端或雲端執行。這些服務封裝為具 FastAPI / HTTP 端點的 Docker 容器，研究人員可使用輕量 Python 用戶端，組合以不同語言與框架開發的服務。我們使用 cuRobo 服務進行動作規劃、FoundationPose 服務進行姿態估算、FoundationStereo 服務進行深度估算，此外還有其他服務。
影片 5：部分機器人服務。
第二項關鍵基礎架構是任務與智慧代理生命週期協調系統 (Task and Agent Lifecycle Orchestration System，TALOS)。TALOS 以 ros2_control 為骨幹，提供動作規劃器、操控基元及高效能控制器，包括阻抗、導納與力控制。這套函式庫可順暢地排列這些元件與學習式策略，亦能在超過 500 Hz 的即時迴圈中執行控制器。TALOS 支援 Franka FR3、Flexiv Rizon 4S、Universal Robots UR10e 與 SO-101。我們將它用於所有實體機器人應用，包括動覺教學、遙控操作、雙臂協調與動作規劃。
影片 6：TALOS 應用案例。
TALOS 也透過標準網路介面開放使用。因此，程式碼智慧代理（coding agents）因此得以存取機器人服務與實體機器人，使代理能夠在開發與部署階段組合感知、規劃與控制能力。我們的想法與 Anthropic 的 Model Hardware Standard (MHS) 一致；MHS 是一項與模型無關的規範，讓 AI 代理能發現實體裝置並安全操作。我們的開放原始碼 DROID+ 專案正是這種方法的實例。
憑藉機器人基礎架構，以及在匯流排組裝方面的進展，我們接著處理第二項關鍵任務：多接頭插入。
多接頭插入：「反苦澀教訓」
多接頭插入可分解為以下步驟。針對每個電氣接頭 (兩個大型、兩個小型)：
- 抓取相連的纜線，將電氣接頭從電路板上提起。
- 抓取纜線末端的接頭。
- 將接頭插入電路板上對應的插座。
圖 4：多接頭插入的初始條件、接頭類型與最終狀態。目標插座以紅色標示；DC-SCI 接頭以綠色標示，MCIO 接頭以紅色標示。
初始條件同樣與製造環境一致。四條纜線的一端皆連接至 GB300 電路板；纜線並未嚴重纏繞，連接在纜線上的接頭則可任意放置於電路板上。
製造商再次要求我們達到至少 99.5% 的成功率，並在不超過熟練作業員兩倍的時間內完成多接頭插入；在此案例中，四條纜線合計不得超過 72 秒。與先前相同，托盤不得發生任何非預期碰撞。
雖然任務描述簡單，但多接頭插入因三項因素而格外困難：(1) 纜線形狀不規則、可產生塑性變形且容易磨損；(2) 接頭尺寸小且幾乎沒有紋理；(3) 接頭與插座之間的間隙極小，幾乎沒有容錯空間。
我們同樣從傳統工作流程著手。為抓取每條纜線，我們使用 Segment Anything Model (SAM3)，在俯視 RGB 影像的預定區域中分割纜線；接著為每個遮罩擬合中心線，命令機器人在指定高度抓取其中點，再向上移動以露出接頭。
圖 5：[左] 腕部安裝的 RealSense D405 攝影機所拍攝的範例影像。[右] SAM3 分割結果與擷取出的纜線中心線。
這個簡單方法幾乎未觀察到任何失敗。
影片 7：纜線抓取方法的重複部署。
抓取露出的接頭困難得多。使用通用模型進行姿態估算並不奏效；接頭尺寸小、缺乏紋理，加上纜線連接區域各異，導致誤差很大，動作與抓取規劃也因此不可靠。我們於是轉向以端到端方式學習感知、動作與抓取。
這條路同樣走不通。使用動作分塊 Transformer (action-chunking transformers，ACT) 或擴散策略進行行為複製，成功率偏低；這些方法需要大量高品質資料，但我們難以取得。不同樣本的纜線形狀與剛性差異顯著，可用的專用纜線數量又很少。每條纜線只能被抓取及操控有限次數，之後就會永久變形，不再代表實際部署條件。
我們將這種情況視為「反苦澀教訓」：在某些實際情境中，實體、財務與物流因素可能讓規模化變得不可行。此時，運用領域知識且需要較少互動資料的傳統方法，再度值得研究。
我們回到姿態估算，但採用不同要求：針對目標零件進行專業化、避免依賴精確或鮮明的視覺紋理，並能透過實際資料迅速改善。我們與 NVIDIA Research 團隊共同開發名為 Deep Object Pose Estimation Revisited (DOPER) 的感知框架。DOPER 的靈感來自 NVIDIA Deep Object Pose Estimation (DOPE)；DOPE 是最早探討如何使用大規模合成資料實現實際感知的論文之一。
圖 6：抓取並提起纜線後露出的接頭。[內嵌圖] 腕部安裝的 RealSense D405 攝影機視角。圖中標註 DOPER 所產生的接頭邊界框、關鍵點與 6D 姿態。
在模擬環境中，DOPER 模型首先接收特定零件的 CAD 模型，從不同視角算繪 RGB 影像，並在零件凸包上使用最遠點取樣自動產生關鍵點標籤，再依點的可見度與顯著性進行篩選。接著訓練快速、輕量的卷積網路，根據 RGB 影像預測邊界框、分割遮罩與關鍵點標籤。
在實體環境中，系統會擷取零件的 3D 神經重建。預訓練 DOPER 模型會在具有隨機背景的神經重建不同視角上執行，產生偽標籤；信心度較低的預測，則透過將高信心度預測投影至目標視角來修正。
接著，DOPER 模型會使用這些標籤進行微調。最後在推論時，模型於目標場景中執行，並從預測的關鍵點擷取姿態估算。此流程可依攝影機 30 Hz 的幀率或更快速度執行。
 |
 |
圖 7：[左] 根據接頭的神經重建算繪動畫，用於微調 DOPER 模型。[右] DOPER 模型執行推論時的畫面。
DOPER 重新點燃我們對姿態估算潛力的信心。此框架讓我們能訓練針對接頭的精準姿態估算器，並即時部署這些模型。利用產生的估算結果，一支機械手臂可平移及旋轉每個接頭，使其進入第二支機械手臂能可靠抓取的姿態。
影片 8：接頭抓取方法的重複部署。
插曲二：以機械設計降低非確定性
如前所述，由於設計週期快速且產量低，GB300 測試托盤組裝需要彈性自動化，使機器人能適應零件與姿態的非確定性並維持穩健。同時，彈性系統仍可受益於固定式自動化的創新，例如透過機械設計降低非確定性。
遺憾的是，專注固定式自動化的機電整合研究人員，與專注彈性自動化的電腦科學家，長期處於不同領域。我們主張採取完整堆疊方法，整體考量硬體、軟體與 AI 研究。
在抓取接頭時，夾爪閉合期間的接觸可能使接頭偏移至非預期或不穩定的姿態。雖然觸覺感測、重新抓取及手內操控都可能有效，但在我們的案例中，最直接且週期時間最佳的解決方案，只是更出色的機械設計。
我們設計兩組多用途夾爪指，使機器人能抓取匯流排、限位治具、纜線，以及大小型接頭。
圖 8：[左] 第一組多用途夾爪指的影片。這些夾爪指可接受抓取前的姿態偏差，並引導零件進入可重複的抓取後姿態。第一個影片顯示夾爪指抓取小型 DC-SCI 接頭；第二個顯示同一組夾爪指抓取大型 MCIO 接頭。[右] DC-SCI 與 MCIO 接頭多用途夾爪指的剖面圖，分別呈現完整視圖、側向剖面與頂部剖面。夾爪指的幾何形狀會限制接觸期間的接頭動作，產生可重複的抓取後姿態。
圖 9：第二組多用途夾爪指，用於抓取 (由左至右) 治具、匯流排把手、匯流排夾具釋放機構與纜線。
夾爪指的幾何形狀可限制接觸期間的零件動作，使抓取姿態更具重複性。這些夾爪指幾乎可使用任何業餘級 3D 印表機製作。
最後階段：實打實的接觸挑戰
抓取各個接頭後，多接頭插入的最後一步，是將接頭插入 GB300 電路板上的對應插座。與插入匯流排相比，接頭插入更具挑戰，原因包括脆弱的導電接腳、極小間隙，以及接觸時幾乎沒有導引表面。
傳統方法在這些條件下通常難以應付。插座幾何形狀差異、機器人控制累積誤差，或不當的插入力曲線，都可能使接頭卡在插座內、錯過插座，甚至撞擊周圍元件。順應性控制器 (compliant controller) 雖有幫助，但對大型空間誤差的穩健性不足，且每項任務都需仔細調校。
因此，我們轉向學習式解決方案。延續模擬到現實遷移 (1、2、3、4、5)，我們在 NVIDIA Isaac Lab 中使用無模型強化學習 (model-free RL)，訓練能從廣泛初始姿態插入電氣接頭的策略，並將其策略部署至實體環境。
影片 9 至 12：在 Isaac Lab 中平行化訓練以 強化式學習為基礎的接頭插入策略。[左] DC-SCI 與 MCIO 接頭的部分訓練策略。[右] 完成訓練的策略。
模擬到現實遷移在真實環境中對大接頭的插入成功率很高，但對小接頭的效果就差了不少。這些策略依賴姿態估計的結果作為輸入，即使是極微小的估計誤差，也可能導致接頭滑過插槽邊緣而失敗。即便是大接頭，可靠性也還未達到工業標準。於是我們得出最後一個技術結論：真實世界的資料無可取代。
更準確地說，大多數真實部署的目標是達到最佳表現，例如最高可靠性、最快速度、或最低人工介入率。由於模擬與真實世界之間永遠存在落差，在模擬中訓練的策略很容易表現次優。因此，直接從真實資料中學習——在條件允許時盡量採用線上互動的方式——能讓真實部署的表現更好。
在此案例中，我們以先前的研究 SPARR 為基礎，改進了插入的策略。SPARR 的做法是：先在模擬中用 RL 訓練一個以狀態為輸入的基礎策略，再在真實世界中用 RL 訓練一個以影像為輸入的殘差策略。基礎策略的展開 (rollout) 為真實世界的學習提供引導，有助於提高學習效率並確保探索過程的安全性。由於接頭在插入過程中會被遮擋而看不見，我們改用力矩感測器的輸入來訓練殘差策略，而非影像。
影片 13：接頭插入方法的重複部署。將模擬中訓練的基本策略動作，與實體環境中訓練的殘差策略動作加以組合。
最終的多接頭插入解決方案整合了纜線抓取、接頭抓取與接頭插入方法，從頭到尾完成四個接頭的組裝。系統成功率達 90% 至 95%；其餘失敗主要源於接頭抓取期間的多手臂協調問題。每條纜線的平均週期時間為 40 秒，主要瓶頸是在抓取前，以緩慢且離散的方式調整外露接頭姿態。雖然效能尚未達部署要求，我們仍持續縮小差距。
影片 14：多接頭插入解決方案。一支 Flexiv 機械手臂提起目標纜線以露出接頭，並將其重新調整至第二支 Flexiv 機械手臂可觸及的姿態；第二支手臂抓取接頭，並部署學習式策略將接頭插入插座。其餘每條纜線皆重複此流程。
重要性：邁向良性循環
自動化生產與測試 GB300 系統及其後繼產品，對 NVIDIA 與 AI 生態系極具價值，因為這些系統是基礎模型的運算引擎。展望更遠的未來，以智慧自動化輔助熟練勞動力，對本土製造至關重要：到 2033 年，可能有 190 萬個製造業職缺無法補足。長期而言，以機器人組裝 AI 硬體可實現更宏大的願景：在人工監督下，由 AI 驅動的機器人組裝 AI 硬體，再由這些硬體訓練下一代 AI 機器人，形成安全的良性循環。
Blackwell 寓言：故事帶來的啟示
處理 GB300 測試托盤組裝，是我們經歷過最富啟發性的研究之一，也再次印證任務導向研究的價值。
在研究中，抽象地發明技術方法是一種常見且有價值的做法，因為多年後應用情境明朗時，這些方法可能帶來回報。我們的 GB300 組裝經驗支持另一種互補方法：找出幾乎不可能解決、但具有重大實際價值的問題，揭示現有方法的能力與極限，並在沒有明確前進道路時進行創新。
這項工作也讓我們獲得七項重要技術啟示：
- 姿態估算可以非常有效。專案初期，我們不相信這項結論，甚至不希望它成真。然而，DOPER 框架為工業零件產生快速且精準的姿態估算模型。關鍵在於以調整後的要求重新檢視姿態估算：訓練專用模型、避免依賴精確或鮮明的視覺紋理，並能根據實際資料迅速微調。
- 機械設計能有效降低非確定性。這項結論對自動化社群顯而易見，但在機器人學習領域可能較不直觀。透過 3D 列印夾爪指的機械設計，我們無須引入觸覺感測器、重新抓取機制或手內操控等複雜性，就能可靠抓取夾具、纜線與治具。機器人技術是全堆疊問題，結合人工智慧與機械智慧才能達到最佳成果。
- 不應忽視高效能控制。研究人員投入數十年開發高效能機器人控制器，但多數機器人學習論文採用最簡單的控制法則。具自動阻尼設計與慣性補償的高效能控制器，能確保自由空間中的流暢運動、促進輕柔且穩定的接觸互動，並改善透過 RL 學習之行為的成功率與週期時間。
- 應進一步檢視受規模瓶頸限制的情境。「苦澀教訓」有大量實證支持；然而，在我們稱為「反苦澀教訓」的情況中，當互動資料稀少、零件難以模擬、替換成本高昂，或重複使用會造成物件劣化時，規模化可能不可行。傳統方法仍可能非常強大，而學習式研究或可更加重視結構與樣本效率。
- 週期時間應與成功率受到同等重視。典型的機器人學習系統可能同時結合 1 kHz 本體感覺、100 Hz 策略、30 Hz 攝影機串流與 5 Hz 夾爪控制，各自具有不同的即時保證。某些子任務可能很難或無法平行處理。提高速度時，必須維持控制精度、確保人員與機器人安全，並避免零件損壞。研究人員應同等重視週期時間與成功率。
- 研究基礎架構能加速開發與部署。在這項工作中，機器人服務與 TALOS 對避免相依性衝突、讓不同規劃器與控制器可互換，以及在不同機器人間移轉程式碼都至關重要。新創公司與企業可能深入投資基礎架構，但研究實驗室通常較少如此；社群若能共同開發為研究量身打造的基礎架構，可能加速整個領域的進展。
- 合成資料與實際資料同樣扮演關鍵角色。DOPER 使用大規模、針對特定零件的合成資料啟動訓練流程，接頭插入方法則利用模擬式 RL 預訓練策略。然而，實際資料仍不可或缺。工業機器人的嚴格要求不容犧牲任何效能，必須結合合成資料與實際資料，才能創造真實世界價值。
縮小實驗室與工廠之間的差距
在機器人領域，研究成功的真正衡量標準，是能否轉化至實際世界。我們的下一個目標，是將這項技術部署至 NVIDIA 合約製造商生產 AI 硬體的工廠；我們希望達到或超越其效能要求，並藉此加速生產全球最先進的運算系統。
然而，實際部署伴隨顯著挑戰。最重要的是：即使機器人解決方案在實驗室試驗中表現良好，部署前要如何保證其效能？工廠的環境與工作站條件各不相同，而處理領域落差幾乎是所有學習式機器人的弱點。實際生產線也會面臨產品設計變更，這是實驗室中無法觀察的另一項變數。
此外，即使系統具備足夠的穩健性或適應性，仍必須驗證其效能。若要以單側 95% 信賴界限支持至少 99.5% 的成功機率，至少需進行 598 次試驗且不得出現任何失敗。在我們的案例中，由於零件會磨損，這類評估可能需要數百套重複的 GB300 元件。即使物理模擬與互動式世界模型近期已有進展，精準模擬幾何與機械特性不規則的元件仍是尚待解決的挑戰。
我們建議從自動駕駛 (autonomous vehicles，AV) 產業汲取靈感。在自動駕駛中，離線訓練與線上部署之間的界線是模糊的：一開始人類會仔細監督並糾正車輛行為，但隨著時間推移，車輛會越來越自主。機器人學習系統也應該以同樣的方式部署——初期表現強但不完美，人類或受人類監督的智慧代理能無縫地記錄介入行為，系統再利用這些資料持續改進。隨著時間累積，在真實部署條件下收集到足夠的資料，最終就能對系統表現提供強而有力的統計保證。
真實部署的第二個關鍵挑戰是：在部署機器人解決某個特定任務之後，如何讓解決下一個任務所需的心力越來越少？這個目標可以用兩個詞來概括：泛化與適應性。
高度泛化是指，針對一組任務訓練的機器人，也能妥善解決新任務。如果機器人知道如何將定位銷插入孔洞、組裝齒輪並鎖緊螺絲，就應具備足夠的高階常識與低階靈巧能力，插入 USB-C 纜線。高度適應性則是指，機器人即使不知道如何解決新任務，也能高效率地學會。能組裝間隙 0.5 公釐齒輪的機器人，應能迅速學會組裝間隙 0.1 公釐的齒輪。
與研究社群的共識一致，我們認為邁向泛化與適應性的長期道路，是採用能從網際網路規模資料學習的模型，包括視覺語言動作模型 (vision-language-action，VLA)、世界動作模型 (world-action model，WAM) 與機器人原生基礎模型。這些模型已展現卓越的物理常識、快速適應以及情境學習能力。
然而，機器人社群有個公開的祕密：我們距離掌握實體世界近乎無限的多樣性，並從中高效率學習，仍有很長的路要走。作為思想實驗，自駕車公司每天可能蒐集 100 TB 至 1 PB 的實用資料，但自動駕駛只是通用型機器人應具備的其中一項任務。此外，在條件受到合理限制的環境中，模組化系統通常比端到端模型更快達到更好的泛化能力 (例如文獻 1、文獻 2)。
我們認為，機器人基礎模型邁向泛化與適應性有三條互補路徑。第一條是資料飛輪：在部署條件下打造持續改善的機器人系統、於部署期間蒐集資料，再利用這些資料進行中期訓練或後訓練。主要限制在於涵蓋範圍：每次部署只代表狹窄的互動分布，基礎模型可能難以進行內插。
第二條路徑是世界模型。若將其定義為「以動作為條件的多模態預測模型」，這類模型幾乎可使用任何物理資料來源進行訓練。未來，研究人員可能將其作為所有物理互動的模擬器，進而對機器人基礎模型進行多元後訓練。然而，未來的世界模型必須能隨時間演進；如前文所述，物件動態可能高度非平穩。
第三條路徑是智慧代理驅動的機器人技術。近期突破 (例如文獻 1、文獻 2、文獻 3) 顯示，智慧代理不僅展現愈來愈多的人類常識，包括空間推理，也能在模擬器、世界模型與實際世界中提出有效動作。智慧代理引導的動作可生成後訓練資料，而 智慧代理引導的介入，最終可能在新任務中取代人類修正。
影片 15：在學習式世界模型中使用 GPT-6 Astra 進行的近期實驗。Astra 具備出色的空間理解能力，可在世界模型中控制機器人，讓機器人研究人員能蒐集大量有價值的資料。
最後，我們呼籲大家採取行動，加入這段旅程。以機器人組裝 AI 硬體，不僅是現代最具影響力的問題之一，也是基礎與應用機器人研究極具吸引力的北極星目標。我們期待社群在此方向快速推進。
深入了解
我們正準備一份白皮書，詳細說明方法與最新實驗結果；同時也致力於發布 DOPER 與 TALOS 供社群使用，以及與 NVIDIA Isaac 工程團隊合作打造的接頭插入參考工作流程。
各項內容發布後，我們將更新本文並加入連結。
閱讀 NVIDIA Robotics Research and Development Digest (R2D2)，深入了解 NVIDIA Research 在物理 AI 與機器人應用方面的最新突破。
訂閱電子報，並在 YouTube、Discord 與開發者論壇追蹤 NVIDIA Robotics，以掌握最新資訊。若要展開機器人學習之旅，歡迎報名免費的 NVIDIA Robotics Fundamentals 課程。