ChatGPT 象徵生成式 AI 的大爆炸時刻。幾乎可以針對任何問題產生答案,協助知識工作者轉型至數位工作,例如內容創作、客戶服務、軟體開發和業務運作。
實體 AI 是人工智慧在工業系統的人形機器人、工廠及其他裝置中具體化,卻尚未經歷突破性時刻。
因而阻礙了交通運輸、製造、物流、機器人等產業的發展。但是隨著三部電腦匯集了先進的訓練、模擬與推論後,情況即將改變。
多模態實體 AI 崛起
「軟體 1.0」 (人類程式設計師編寫的序列程式碼) 在搭載 CPU 的通用電腦上運作了 60 年。
之後,於 2012 年,Alex Krizhevsky 在 Ilya Sutskever 和 Geoffrey Hinton 的指導下,以用於影像分類的革命性深度學習模型 AlexNet 贏得 ImageNet 電腦影像辨識競賽。
此次是業界與 AI 的初次接觸。機器學習在 GPU 上運作的神經網路的突破,開啟了軟體 2.0 的時代。
如今,是以軟體編寫軟體。全球運算工作負載正在從 CPU 上的通用運算轉移至 GPU 上的加速運算,已遠遠超越摩爾定律。
多模態 transformer 和 diffusion 模型已透過生成式 AI 進行訓練,以產生回應。
大型語言模型屬於一維,能以字母或單字等模式預測下一個標記。圖片和影片產生模型屬於二維,可以預測下一個像素。
此類模型都無法理解或解讀三維世界。此時,實體 AI 即能發揮作用。
實體 AI 模型可以透過生成式 AI 感知、理解實體世界、與之互動,並在其中行進。加速運算、多模態實體 AI 突破和以物理為基礎的大規模模擬,讓世界可以透過機器人實現實體 AI 的價值。
機器人是可以感知、推理、規劃、行動和學習的系統。機器人通常被認為是自主移動機器人 (autonomous mobile robot,AMR)、機械手臂或人形機器人。但是有更多類型的機器人已具體化。
在不久的未來,自主機器人系統將成為所有移動的物體或監控移動物體的技術。這些系統將能感測環境,並做出反應。
從手術室到資料中心、從倉庫到工廠,甚至是交通控制系統或整個智慧城市,都將從靜態的手動操作系統轉變為透過實體 AI 具體化的自主互動式系統。
下一個新領域:人形機器人
人形機器人是一種理想的通用機器人表現形式,因為它們可以在為人類建造的環境中有效率地運作,同時僅需要進行些許調整即可部署和運作。
Goldman Sachs 指出,預計在 2035 年,全球的人形機器人市場將達到 380 億美元,比將近兩年前預測的大約 60 億美元增加超過六倍。
世界各地的研究人員和開發人員正在打造下一波機器人。
三部電腦開發實體 AI
開發人形機器人需要三個加速電腦系統,處理實體 AI 和機器人訓練、模擬及執行階段。兩項運算的進步加快了人形機器人的開發速度:多模態基礎模型以及可擴充、以物理為基礎的機器人和環境模擬。
生成式 AI 的突破,為機器人帶來 3D 感知、控制、技能規劃和智慧。大規模機器人模擬讓開發人員可以在模擬物理定律之虛擬世界中改進、測試和最佳化機器人的技能,以協助降低真實世界的資料擷取成本,並確保它們可以在安全、受控的環境中執行任務。
NVIDIA 打造出三部電腦和加速開發平台,讓開發人員可以建立實體 AI。
首先,在超級電腦上訓練模型。開發人員可以在 NVIDIA DGX 平台上使用 NVIDIA NeMo 訓練和微調強大的基礎及生成式 AI 模型。他們也可以利用 NVIDIA Project GR00T,此計畫之目的是為人形機器人開發通用基礎模型,以使它們能理解自然語言,並透過觀察人類行為模擬動作。
第二,在 NVIDIA OVX 伺服器上運作的 NVIDIA Omniverse 提供了開發平台和模擬環境,可以透過 NVIDIA Isaac Sim 等應用程式設計介面與框架,測試及最佳化實體 AI。
開發人員可以使用 Isaac Sim 模擬和驗證機器人模型,或產生大量以物理為基礎的合成資料,以改善機器人模型訓練。研究人員和開發人員也可以使用 NVIDIA Isaac Lab,一種開放原始碼機器人學習框架,可以支援機器人強化學習和模仿學習,協助加快和完善機器人原則訓練。
最後,將已接受訓練的 AI 模型部署至執行階段電腦。NVIDIA Jetson Thor 機器人電腦是專為滿足小型內建運算需求而設計。由控制原則、視覺和語言模型組成的模型集合構成了機器人的大腦,並部署在節能的內建邊緣運算系統上。
機器人製造商和基礎模型開發人員可以根據工作流程和挑戰領域,視需要使用眾多的加速運算平台與系統。
打造下一波自主設施
機器人設施是所有技術的結晶。
鴻海科技集團等製造商或 Amazon Robotics 等物流公司可以協調自主機器人團隊與人類工作者一起工作,並透過數百或數千個感測器監控工廠運作。
這些自主倉庫和工廠將擁有數位孿生。數位孿生適用於配置規劃和最佳化、作業模擬,以及最重要的機器人機隊軟體迴圈測試。
「Mega」以 Omniverse 為基礎,是工廠數位孿生的藍圖,讓工業企業可以在將機器人機隊部署至實體工廠之前,利用模擬進行測試和最佳化。將有助於確保無縫整合、最佳效能和最小化干擾。
Mega 讓開發人員可以在工廠數位孿生中置入虛擬機器人及其 AI 模型,或機器人的大腦。數位孿生中的機器人是透過感知環境、推理、規劃下一個動作,最後完成規劃的動作的方式執行任務。
這些動作是透過 Omniverse 中的世界模擬器,在數位環境中進行模擬,並透過 Omniverse 感測器模擬,由機器人的大腦感知結果。
機器人的大腦是透過感測器模擬決定下一個動作,且迴圈會繼續,同時 Mega 會密切追蹤工廠數位孿生中每一個元素的狀態和位置。
此種先進的軟體迴圈測試方法,讓工業企業可以在 Omniverse 數位孿生的安全範圍內模擬和驗證變更,協助他們預測及緩解潛在問題,以降低實際部署時的風險與成本。
利用 NVIDIA 技術為開發人員生態系統賦能
NVIDIA 透過三部電腦,加快機器人開發人員和機器人基礎模型建構者之全球生態系統的工作速度。
Teradyne Robotics 公司旗下的 Universal Robots,使用 NVIDIA Isaac Manipulator、Isaac 加速函式庫和 AI 模型以及 NVIDIA Jetson Orin 打造出 UR AI Accelerator,一種現成的硬體和軟體工具套件,讓協作機器人開發人員可以建立應用程式、加快開發速度及縮短 AI 產品的上市時間。
RGo Robotics 使用 NVIDIA Isaac Perceptor 協助其 wheel.me AMR 在任何位置工作,並提供擬人感知和視覺空間資訊,以做出明智的決定。
1X Technologies、Agility Robotics、Apptronik、Boston Dynamics、Fourier、Galbot、Mentee、Sanctuary AI、Unitree Robotics、XPENG Robotics 等人形機器人製造商是採用 NVIDIA 的機器人開發平台。
Boston Dynamics 使用 Isaac Sim 和 Isaac Lab 打造出四足機器人和人形機器人,以提高倉庫的人類生產力、解決人力短缺問題,並以安全為優先。
Fourier 是利用 Isaac Sim 訓練人形機器人在需要高度互動和適應性的領域中運作,例如科學研究、醫療與製造。
使用 Isaac Lab 和 Isaac Sim,讓 Galbot 可以推動開發稱為 DexGraspNet 的大規模機器人靈巧抓取資料集,此資料集可以應用在不同的靈巧機械手臂上以及模擬環境中,以評估靈巧抓取模型。
Field AI 使用 Isaac 平台和 Isaac Lab,開發出風險有限的多任務和多用途基礎模型,讓機器人可以在室外現場環境中安全運作。
實體 AI 的時代已經到來,且正在徹底改變全世界的重工業和機器人。
開始使用 NVIDIA 機器人。