將模擬構想轉化為可運作的應用，意味著必須組合資產、連接物理與渲染功能，並確認場景是否如預期運作。開發者正結合前沿 AI 模型與 NVIDIA Omniverse 函式庫來協助完成這些工作，打造可用於探索情境、調查故障及改善設計的應用。
開發者透過自然語言指令引導 AI 代理、檢視結果並指示變更。Omniverse 函式庫提供 GPU 加速的物理、渲染與感測器模擬功能。
探索以下專案，瞭解 GPT-6 Astra 等前沿 AI 模型如何實際運作，並持續關注 NVIDIA 團隊與生態系開發者推出的新範例。
為倉儲環境打造人形機器人模擬器🔗
以第一人稱與第三人稱視角，探索遊戲化、以物理為基礎的人形機器人控制。
在自動化倉儲任務前，開發者需要互動式模擬環境，以探索任務行為並評估工作執行方式。NVIDIA Omniverse 產品經理 Frank DeLise 使用 Astra，將 SimReady 倉庫與人形機器人轉化為具第一人稱及第三人稱視角的互動式模擬器。
DeLise 指示 Astra 連接 NVIDIA Omniverse 函式庫，涵蓋物理 (ovphysx)、場景更新 (ovstage)、渲染 (ovrtx) 與使用者介面 (ovui)。他也搭配 SimReady (simready-foundation) 使用 Astra，在模擬中建立物理場景。接著，Astra 產生動畫與應用程式碼，將這些功能整合起來。
瞭解如何運用前沿 AI 模型與 NVIDIA Omniverse 函式庫，準備並驗證 SimReady 機器人資產。
串接自動駕駛測試工作流程🔗
變更場景、感測器或駕駛模型，可能大幅影響自駕車模擬。NVIDIA 模擬技術團隊經理 Doyub Kim 要求 Astra 建構 Zero to Alpamayo，這是以舊金山 Market Street 為基礎的可重複使用模擬環境。
Kim 指示 Astra 規劃工作流程，再分階段串接資產建立、交通、Omniverse RTX 感測器模擬與 Alpamayo 駕駛，並逐一檢查各項整合。最終原型成為比較模型的測試環境，也可追蹤場景或感測器變更如何影響下游駕駛行為。另一項 Cosmos3-Nano 實驗則改變錄製模擬影片中的天候與光線，讓 Kim 比較駕駛模型在不同條件下對相同情境的反應。
利用感測器差異建立並改善數位孿生🔗
比較錄製與模擬的攝影機及光達輸出，可為開發者提供以關鍵效能指標為基礎的回饋，用於改善場景。
為了測試機器人與自駕車，開發者必須瞭解模擬感測器與實際感測器的相似程度。負責 NVIDIA RTX 感測器驗證的 Ashley Reid，指示 Astra 與 Claude Fable 5 代理程式，將 ovrtx 攝影機及原始 LiDAR 輸出與錄製資料進行比較。這些代理程式從零建立兩個數位孿生，並改善另外兩個既有數位孿生。
在約三天內，Reid 引導一項反覆工作流程，讓代理程式測量差異、建立或修改 OpenUSD 場景，再檢查結果。變更內容涵蓋缺少的物件、幾何形狀與材質，是否接受則取決於攝影機及 LiDAR 指標。這讓開發者能利用測得的差異，引導場景建立與改善。
首先使用 ovrtx 最小化 Python 範例渲染 OpenUSD 場景，再定義感測器衡量方式，以便與錄製資料比較。
機器人奧運：透過模擬測試機器人技能🔗
教導機器人新的動作，必須確認這些動作在物理限制下是否可行。NVIDIA Omniverse 工程與產品主管 Tae Kim 使用運動影片及自然語言指令，引導 Astra 建立實驗性專案 Robo Olympics，測試模擬的 Unitree G1 人形機器人執行運動動作。
在 Kim 的指導下，Astra 建立控制器，並透過物理試驗反覆改進。Newton 物理引擎負責模擬行為，開放原始碼 NVIDIA Warp 框架加速運算，ovrtx 則算繪場景與虛擬攝影機影像。在一項實驗中，機器人在 100 次模擬試驗中有 64 次成功跨越單一欄架。這些試驗為 Kim 提供回饋，以改善機器人的時機掌握與控制。
觀看 Kim 運用 Astra 與 NVIDIA Omniverse 函式庫探索如何建構模擬。
運用電腦輔助設計與模擬測試機器人拆解🔗
機器人拆解產品前，開發者必須確認工具能否觸及並移除零件。OpenUSD 資深產品經理 Jens Jebens (NVIDIA) 指示 Astra 在 PTC Onshape 中建立汽車懸吊系統模型，並在 NVIDIA Isaac Sim 中進行設定。
Jebens 透過 Astra 探索由模擬提供資訊的機器人電腦輔助設計 (CAD) 與工具修訂。代理程式測量可用空間，並設計機器人可用來觸及懸吊系統螺栓的扳手。Jebens 表示，系統在模擬中成功移除一個懸吊元件。這項方法將設計及工具決策與拆解結果連結起來，為機器人策略訓練提供起點。
探索 Onshape 匯入工具指南。
將國際太空站帶進瀏覽器🔗
要將 3D 模型轉化為應用，必須連接資產、即時資料與介面。NVIDIA 工程總監 Nic Johns 提示 Astra 將 NASA 資產組合成具遙測資料的 OpenUSD 國際太空站模型。Johns 只用一個提示就建立應用，再透過後續提示將場景移至地球的日照側，使地球清楚可見。
此工作流程使用 Blender 準備資產，並使用 Omniverse 函式庫進行渲染 (ovrtx)、場景執行階段 (ovstage) 與串流 (ovstream)。這項應用將 3D 模型及營運資料帶進瀏覽器，而 Johns 則透過提示與修正引導開發。
試用 Omniverse Real-Time Viewer 技能。
將擷取的房間轉化為測試環境🔗
數位重建的房間必須具備可編輯物件與精準物理行為，開發者才能測試互動。NVIDIA Isaac 工程應用團隊的 Chirag Majithia 指示 Astra 將立體攝影機擷取內容轉換為可編輯的 OpenUSD 工作室。
此工作流程結合 PyCuSFM、FoundationStereo 與 nvblox 進行重建，並透過使用者檢視引導物件選取與放置。Astra 組合生成式及 Blender 製作的資產，並使用 USD Content Agents 設定物件在模擬中的移動與互動方式。Isaac Sim 測試引導門與抽屜的碰撞及接觸修訂。這個工作室將擷取的幾何形狀連接至互動測試，使缺口與物件行為更容易檢查。
有模擬構想嗎？探索 NVIDIA Omniverse 函式庫，開始與 AI 代理程式共同建構。