將模擬構想轉化為可運作的應用，意味著必須組合資產、連接物理與渲染功能，並確認場景是否如預期運作。開發者正結合前沿 AI 模型與 NVIDIA Omniverse 函式庫來協助完成這些工作，打造可用於探索情境、調查故障及改善設計的應用。
開發者透過自然語言指令引導 AI 代理、檢視結果並指示變更。Omniverse 函式庫提供 GPU 加速的物理、渲染與感測器模擬功能。
探索以下專案，瞭解 GPT-6 Astra 等前沿 AI 模型如何實際運作，並持續關注 NVIDIA 團隊與生態系開發者推出的新範例。
大規模壓力測試倉儲模擬🔗
隨著場景中加入更多機器手臂、輸送帶與箱子，倉儲模擬仍須維持順暢運作。
當模擬速度變慢時，開發者需要找出造成效能瓶頸的原因。NVIDIA 首席工程師 Bhavik Sanganee 運用 Astra 與 NVIDIA Omniverse 函式庫建構倉儲模擬、提高場景複雜度，並調查速度減緩的原因。
場景規模擴大一倍後，效能首次低於目標。同步執行物理運算、影像渲染與影片準備作業後，效能得以恢復，並可進一步擴大規模。
在包含 80 條輸送帶、40 支機器手臂與 800 個箱子的場景中，模擬在兩分鐘測試期間，能以 Full HD 解析度維持每秒 30 幀。機器手臂共成功完成 640 次箱子放置作業。
再次將場景規模擴大一倍後，效能隨之下降。測試結果顯示，速度減緩源自物理與機器人控制管線，讓 Sanganee 得以鎖定需要改善的特定領域。
立即開始使用 NVIDIA Omniverse 函式庫進行建構。
測試用於彈性纜線佈線的機器人控制🔗
在電子產品組裝過程中，機器人可能需要先將彈性纜線繞過元件並放置妥當，再將纜線插入連接埠。纜線會隨著機器人的動作彎曲，而接頭必須精準對齊才能順利插入。
NVIDIA 機器人技術行銷經理 Oyindamola Omotuyi 指示 Astra 建構機器人模擬，使用 NVIDIA Isaac Lab、Newton 物理引擎與 Omniverse 渲染功能，並由 Robotiq 夾爪操作纜線。
Astra 也開發了一套強化學習系統，將學習所得的纜線佈線動作，與位置及方向回饋，以及 USB-C 插接的修正調整相結合。這項模擬讓 Omotuyi 能在進行實體機器人實驗前，先測試纜線操作與接頭對齊。
控制器使用由模擬直接提供的資訊。後續步驟包括測試以摩擦力維持的抓握方式，以及使用實體機器人可從攝影機與感測器取得的資訊。
立即開始使用 NVIDIA Isaac Lab 進行機器人學習。
將機器人電腦輔助設計轉換為 SimReady 資產🔗
在測試機器人能否拾取並移動箱子之前，開發者需要建立模擬模型，確保關節能正確移動，且夾爪能穩固抓取物體。電腦輔助設計 (CAD) 模型可提供機器人的外型，但仍須加入物理屬性，才能執行任務。
開發者以 ABB Robotics YuMi 機器人為例，指示 Astra 運用 NVIDIA Omniverse 內容函式庫，將 CAD 檔案轉換為 OpenUSD、依照參考影像調整機器人外觀，並設定關節與碰撞幾何形狀。他們先依據 SimReady Foundation 要求檢查資產，再於 NVIDIA Isaac Sim 中進行測試。
機器人的雙臂與夾爪運用模擬的手指接觸與摩擦力，完成四次方塊取放循環。這些測試展示了模擬條件下的行為；其中估算的物理屬性並未依照實體機器人進行校準。
按照 SimReady 五步驟教學課程操作。
為倉儲環境打造人形機器人模擬器🔗
以第一人稱與第三人稱視角，探索遊戲化、以物理為基礎的人形機器人控制。
在自動化倉儲任務前，開發者需要互動式模擬環境，以探索任務行為並評估工作執行方式。NVIDIA Omniverse 產品經理 Frank DeLise 使用 Astra，將 SimReady 倉庫與人形機器人轉化為具第一人稱及第三人稱視角的互動式模擬器。
DeLise 指示 Astra 連接 NVIDIA Omniverse 函式庫，涵蓋物理 (ovphysx)、場景更新 (ovstage)、渲染 (ovrtx) 與使用者介面 (ovui)。他也搭配 SimReady (simready-foundation) 使用 Astra，在模擬中建立物理場景。接著，Astra 產生動畫與應用程式碼，將這些功能整合起來。
瞭解如何運用前沿 AI 模型與 NVIDIA Omniverse 函式庫，準備並驗證 SimReady 機器人資產。
串接自動駕駛測試工作流程🔗
變更場景、感測器或駕駛模型，可能大幅影響自駕車模擬。NVIDIA 模擬技術團隊經理 Doyub Kim 要求 Astra 建構 Zero to Alpamayo，這是以舊金山 Market Street 為基礎的可重複使用模擬環境。
Kim 指示 Astra 規劃工作流程，再分階段串接資產建立、交通、Omniverse RTX 感測器模擬與 Alpamayo 駕駛，並逐一檢查各項整合。最終原型成為比較模型的測試環境，也可追蹤場景或感測器變更如何影響下游駕駛行為。另一項 Cosmos3-Nano 實驗則改變錄製模擬影片中的天候與光線，讓 Kim 比較駕駛模型在不同條件下對相同情境的反應。
利用感測器差異建立並改善數位孿生🔗
比較錄製與模擬的攝影機及光達輸出，可為開發者提供以關鍵效能指標為基礎的回饋，用於改善場景。
為了測試機器人與自駕車，開發者必須瞭解模擬感測器與實際感測器的相似程度。負責 NVIDIA RTX 感測器驗證的 Ashley Reid，指示 Astra 與 Claude Fable 5 代理程式，將 ovrtx 攝影機及原始 LiDAR 輸出與錄製資料進行比較。這些代理程式從零建立兩個數位孿生，並改善另外兩個既有數位孿生。
在約三天內，Reid 引導一項反覆工作流程，讓代理程式測量差異、建立或修改 OpenUSD 場景，再檢查結果。變更內容涵蓋缺少的物件、幾何形狀與材質，是否接受則取決於攝影機及 LiDAR 指標。這讓開發者能利用測得的差異，引導場景建立與改善。
首先使用 ovrtx 最小化 Python 範例渲染 OpenUSD 場景，再定義感測器衡量方式，以便與錄製資料比較。
機器人奧運：透過模擬測試機器人技能🔗
教導機器人新的動作，必須確認這些動作在物理限制下是否可行。NVIDIA Omniverse 工程與產品主管 Tae Kim 使用運動影片及自然語言指令，引導 Astra 建立實驗性專案 Robo Olympics，測試模擬的 Unitree G1 人形機器人執行運動動作。
在 Kim 的指導下，Astra 建立控制器，並透過物理試驗反覆改進。Newton 物理引擎負責模擬行為，開放原始碼 NVIDIA Warp 框架加速運算，ovrtx 則算繪場景與虛擬攝影機影像。在一項實驗中，機器人在 100 次模擬試驗中有 64 次成功跨越單一欄架。這些試驗為 Kim 提供回饋，以改善機器人的時機掌握與控制。
觀看 Kim 運用 Astra 與 NVIDIA Omniverse 函式庫探索如何建構模擬。
運用電腦輔助設計與模擬測試機器人拆解🔗
機器人拆解產品前，開發者必須確認工具能否觸及並移除零件。OpenUSD 資深產品經理 Jens Jebens (NVIDIA) 指示 Astra 在 PTC Onshape 中建立汽車懸吊系統模型，並在 NVIDIA Isaac Sim 中進行設定。
Jebens 透過 Astra 探索由模擬提供資訊的機器人電腦輔助設計 (CAD) 與工具修訂。代理程式測量可用空間，並設計機器人可用來觸及懸吊系統螺栓的扳手。Jebens 表示，系統在模擬中成功移除一個懸吊元件。這項方法將設計及工具決策與拆解結果連結起來，為機器人策略訓練提供起點。
探索 Onshape 匯入工具指南。
將國際太空站帶進瀏覽器🔗
要將 3D 模型轉化為應用，必須連接資產、即時資料與介面。NVIDIA 工程總監 Nic Johns 提示 Astra 將 NASA 資產組合成具遙測資料的 OpenUSD 國際太空站模型。Johns 只用一個提示就建立應用，再透過後續提示將場景移至地球的日照側，使地球清楚可見。
此工作流程使用 Blender 準備資產，並使用 Omniverse 函式庫進行渲染 (ovrtx)、場景執行階段 (ovstage) 與串流 (ovstream)。這項應用將 3D 模型及營運資料帶進瀏覽器，而 Johns 則透過提示與修正引導開發。
試用 Omniverse Real-Time Viewer 技能。
將擷取的房間轉化為測試環境🔗
數位重建的房間必須具備可編輯物件與精準物理行為，開發者才能測試互動。NVIDIA Isaac 工程應用團隊的 Chirag Majithia 指示 Astra 將立體攝影機擷取內容轉換為可編輯的 OpenUSD 工作室。
此工作流程結合 PyCuSFM、FoundationStereo 與 nvblox 進行重建，並透過使用者檢視引導物件選取與放置。Astra 組合生成式及 Blender 製作的資產，並使用 USD Content Agents 設定物件在模擬中的移動與互動方式。Isaac Sim 測試引導門與抽屜的碰撞及接觸修訂。這個工作室將擷取的幾何形狀連接至互動測試，使缺口與物件行為更容易檢查。
有模擬構想嗎？探索 NVIDIA Omniverse 函式庫，開始與 AI 代理程式共同建構。