編註：本文章最初於 2024 年 10 月 24 日發布，目前已更新。
物理 AI 是指將人工智慧實際運用於機器人、視覺 AI 代理程式、倉庫和工廠，以及其他在真實世界運作的自主系統中，且即將迎來突破性時刻。
為了協助開發人員在交通運輸、製造、物流、機器人等產業中建立有效的物理 AI 系統，NVIDIA 打造了三部電腦，推動物理 AI 的訓練、模擬和推論。
NVIDIA 之 AI 機器人的三部電腦是什麼？
NVIDIA 的三部電腦解決方案，包括：(1) NVIDIA DGX AI 超級電腦 (適用於 AI 訓練)、(2) NVIDIA RTX PRO 伺服器上的 NVIDIA Omniverse 和 Cosmos (適用於模擬)、(3) NVIDIA Jetson AGX Thor (適用於機器人上的推論)。此架構可以完整開發物理 AI 系統，從訓練到部署。
物理 AI 是什麼？為何如此重要？
物理 AI 與在數位環境中運作的代理式 AI 不同，是一種可以感知、推理、與現實世界互動，並在其中行進的端對端模型。
「軟體 1.0」 (人類程式設計師編寫的序列程式碼) 在搭載 CPU 的通用電腦上運作了 60 年。
之後，於 2012 年，Alex Krizhevsky 在 Ilya Sutskever 和 Geoffrey Hinton 的指導下，以用於影像分類的革命性深度學習模型 AlexNet贏得 ImageNet 電腦影像辨識競賽。
此次是業界與 AI 的初次接觸。機器學習 (在 GPU 上運作的神經網路) 的突破，開啟軟體 2.0 的時代。
今，是以軟體編寫軟體。全球運算工作負載正在從 CPU 上的通用運算轉移至 GPU 上的加速運算，已遠遠超越摩爾定律。
主要是透過生成式 AI 訓練多模態 Transformer 和擴散模型產生回應。
大型語言模型屬於一維，可以利用字母或單字等模式預測下一個標記。圖片和影片產生模型屬於二維，可以預測下一個像素。
此類模型無法理解或解讀 3D 世界。僅有物理 AI 可以發揮作用。
機器人是可以感知、推理、規劃、行動和學習的系統。機器人通常被認為是自主移動機器人 (AMR)、機械手臂或人形機器人。但是還有許多其他類型的機器人具體化。
在不久的未來，所有移動的物體或監控移動物體的技術，都將成為自主機器人系統。這些系統將能感測環境，並做出反應。
從自動駕駛車、手術室到資料中心，再從倉庫到工廠，甚至是交通控制系統或整個智慧城市，都將從靜態的手動操作系統，轉變為透過物理 AI 具體化的自主互動式系統。
為何人形機器人是下一個新領域？
人形機器人是一種理想之通用機器人的表現形式，因為它們可以在為人類建造的環境中有效率地運作，同時僅需要進行少許的調整即可部署和運作。
Goldman Sachs 指出，預計在 2035 年，全球的人形機器人市場將達到 380 億美元，比將近兩年前預測的大約 60 億美元增加超過六倍。
世界各地的研究人員和開發人員正在打造下一波機器人。
NVIDIA 的三部電腦如何共同運作，以支援機器人？
機器人利用三種不同的計算智慧，學習如何理解真實世界，且三者在開發流程中都扮演關鍵角色。
1. 訓練電腦：NVIDIA DGX
假設我們要教導機器人同時理解自然語言、辨識物體和規劃複雜的動作。唯有透過專門的超級運算基礎架構，才能獲得此種訓練需要的龐大運算能力，因此，訓練電腦必不可少。
開發人員可以在 NVIDIA DGX 平台上預先訓練自己的機器人基礎模型，或使用 NVIDIA Cosmos 開放世界基礎模型或 NVIDIA Isaac GR00T 人形機器人基礎模型進行後訓練，以建立新的機器人原則。
2. 模擬和合成資料產生電腦：NVIDIA RTX PRO 伺服器上的 NVIDIA Omniverse 與 Cosmos
開發通用型機器人面臨的最大挑戰在於資料缺口。LLM 研究人員很幸運，可以利用全世界的網際網路資料進行預訓練。但是物理 AI 不具備此類條件。
真實世界的機器人資料有限、成本高昂及難以收集，尤其是在為超出預訓練範圍的極端案例做準備時。收集資料是一項耗費人力的工作，因此成本高昂，且難以規模化。
開發人員可以使用 Omniverse 和 Cosmos 產生大量以物理為基礎，且多樣化的合成資料 — 無論是 2D 或 3D 影像、分割或深度圖，或運動和軌跡資料，改善模型的訓練和效能。
為了在部署至真實世界之前，確保機器人模型的安全性和效能，開發人員必須在數位孿生環境中模擬和測試模型。類似 Isaac Sim 以 Omniverse 函式庫為基礎，在 NVIDIA RTX PRO 伺服器上運作的開放原始碼框架，讓開發人員可以在模擬環境中測試機器人原則 — 機器人可以在無風險環境中反覆嘗試任務，並從錯誤中學習，不會危及人類安全或造成昂貴的硬體損壞。
研究人員和開發人員也可以使用 NVIDIA Isaac Lab，一種開放原始碼機器人學習框架，支援機器人強化學習和模仿學習，協助加快機器人原則訓練的速度。
3. 執行階段電腦：NVIDIA Jetson Thor
為了安全、有效部署，物理 AI 系統需要具備可以在幾毫秒內處理感測器資料、推理、規劃和執行動作之運算能力，以實現即時自主機器人操作的電腦。
機器人上的推論電腦必須執行多模態 AI 推理模型，讓機器人可以與人類和真實世界進行即時、智慧化的互動。Jetson AGX Thor 的精巧設計滿足了機載 AI 效能運算和能源效率需求，同時可以支援控制原則、視覺、語言處理等模型的集合。
數位孿生如何加快機器人的開發速度？
機器人設施是所有技術的結晶。
鴻海科技集團等製造商和 Amazon Robotics 等物流公司，可以協調自主機器人團隊與人類工作者一起工作，並透過數百或數千個感測器監控工廠運作。
這些自主倉庫和工廠將使用數位孿生進行配置規劃和最佳化、作業模擬，以及最重要的機器人機隊軟體迴圈測試。
「Mega」以 Omniverse 為基礎，是工廠數位孿生的藍圖，讓工業企業可以在將機器人機隊部署至實體工廠之前，利用模擬進行測試和最佳化。將有助於確保無縫整合、最佳效能和最小化干擾。
Mega 讓開發人員可以在工廠數位孿生中置入虛擬機器人及其 AI 模型，或機器人的大腦。數位孿生中的機器人是透過感知環境、推理、規劃下一個動作，最後完成規劃的動作的方式執行任務。
這些動作是透過 Omniverse 中的世界模擬器，在數位環境中進行模擬，並由機器人大腦透過 Omniverse 感測器模擬感知結果。
機器人大腦會透過感測器模擬決定下一個動作，而迴圈會繼續，同時，Mega 會密切追蹤工廠數位孿生中每一個元素的狀態和位置。
此種先進的軟體迴圈測試，讓工業企業可以在 Omniverse 數位孿生的安全範圍內模擬和驗證變更，協助他們預測及緩解潛在的問題，以降低實際部署時的風險與成本。
哪些公司正在使用 NVIDIA 的機器人三部電腦？
NVIDIA 的三部電腦加快了全球機器人開發人員和機器人基礎模型建構者的工作速度。
Teradyne Robotics 公司旗下的 Universal Robots 使用 NVIDIA Isaac Manipulator、Isaac 加速函式庫和 AI 模型，以及 NVIDIA Jetson 打造出 UR AI Accelerator，此硬體和軟體工具套件讓協作機器人開發人員可以建立應用程式、加快開發速度和縮短 AI 產品的上市時間。
RGo Robotics 使用 NVIDIA Isaac Perceptor 協助其 wheel.me AMR 隨時隨地工作，並透過提供擬人感知和視覺空間資訊，做出明智的決定。
1X Technologies、Agility Robotics、Apptronik、Boston Dynamics、Fourier、Galbot、Mentee、Sanctuary AI、Unitree Robotics、XPENG Robotics 等人形機器人製造商採用 NVIDIA 的機器人開發平台。
Boston Dynamics 使用 Isaac Sim 和 Isaac Lab 打造出四足機器人，並使用 Jetson Thor 打造出人形機器人，以提高倉庫的人類生產力、解決人力短缺問題，並以安全為優先。
Fourier 利用 Isaac Sim 訓練人形機器人在需要高度互動和適應性的領域中運作，例如科學研究、醫療和製造。
使用 Isaac Lab 和 Isaac Sim，讓 Galbot 可以推動開發稱為 DexGraspNet 的大規模機器人靈巧抓取資料集，此資料集可以應用在不同的靈巧機械手臂上以及模擬環境中，以評估靈巧抓取模型。該公司也使用 Jetson Thor 即時控制機械手臂。
Field AI 使用 Isaac 平台和 Isaac Lab，開發出風險有限的多任務和多用途基礎模型，讓機器人可以在室外現場環境中安全運作。
各產業的物理 AI 未來
隨著全球產業都在拓展機器人使用案例，NVIDIA 的三部電腦物理 AI 方法具有龐大潛力，可以輔助製造、物流、服務、醫療等產業的人類工作。
探索 NVIDIA 的機器人平台，開始使用物理 AI 的訓練、模擬和部署工具。