編註：本文是 Into the Omniverse 系列的一部分，該系列聚焦於開發者、3D 從業人員與企業如何運用 OpenUSD 與 NVIDIA Omniverse 的最新進展來轉型工作流程。
視覺 AI 代理程式正逐漸成為一種實用方式，可自動將來自實體世界的影片資料轉化為工廠、城市、倉儲與運輸系統中的營運智慧。
隨著更多 AI 工作負載移近資料產生的位置，這項轉變正在加速。Gartner 預測，到 2028 年，超過三分之二由企業管理的資料將在資料中心或雲端之外建立與處理；到 2029 年，全球超過三分之二的企業將部署邊緣 AI，高於 2025 年的 10% (1)。
但更多邊緣資料並不會自動創造更多智慧。根據同一份 Gartner 報告，現有邊緣資料中多達 90% 並未被處理。
要將這些資料轉化為有用的行動，需要視覺 AI 代理程式能理解影片、適應真實世界條件，並將洞察連接到營運工作流程。這些代理程式通常在靠近攝影機、機器與感測器的位置執行；模型必須滿足延遲、功耗、成本與連線需求，同時也要適應各場域的特定條件。
為了打造這些代理程式，開發者需要可重複使用的方法，來產生訓練資料、微調模型，並在邊緣與雲端環境中部署代理式影片應用。
NVIDIA Metropolis 代理程式技能與藍圖，為開發者提供可重複使用的工作流程，以在整個生命週期中建置、營運並最佳化視覺 AI 代理程式。
在這項工作的模擬與合成資料方面，Universal Scene Description，也就是 OpenUSD，提供了一個共同框架，用於描述、組合與重複使用 3D 世界。建構於 OpenUSD 之上的 NVIDIA Omniverse 函式庫可協助團隊建置模擬、合成資料生成與數位孿生工作流程，建立真實世界環境模型，並擴展光照、天氣、交通模式、攝影機角度、遮擋與罕見事件等條件下的情境涵蓋範圍。
視覺 AI 代理程式專案可能卡關的地方
隨著組織邁向自主視覺代理程式，常會遇到三項挑戰：
- 資料缺口導致準確度停滯：視覺 AI 代理程式需要能發現罕見缺陷、異常事件與變動中的環境。以製造業為例，檢測模型可能對常見刮痕或凹痕表現良好，卻難以辨識訓練資料中未涵蓋的新型細微裂痕。
- 缺乏微調專業知識：一旦團隊找出效能缺口，改善模型很少只是簡單交接就能完成。微調需要標註資料集、訓練設定、實驗追蹤、評估，以及判斷目標使用案例是否確實改善。許多建置視覺 AI 代理程式的組織，並沒有大型內部機器學習團隊能快速管理這個流程，尤其是在多個場域、產品或攝影機視角之間。
- 複雜且耗時的代理程式組裝工作流程：部署視覺 AI 代理程式不只是執行推論。開發者必須串接影片管線、AI 模型、中繼資料、嵌入、索引、搜尋、警示、報告與系統整合。針對特定環境自訂這套工作流程會增加大量時間，也需要專門知識。若缺少 OpenUSD 共享的場景描述層，團隊往往在每次條件或部署場域改變時，都必須從頭重建 3D 環境。
視覺 AI 代理程式的完整生命週期方法
NVIDIA 代理程式技能與藍圖，搭配 NVIDIA Omniverse 進行以 OpenUSD 為基礎的模擬與合成資料生成，以及 NVIDIA Metropolis 進行模型開發與影片 AI 部署，為開發者在這些工作流程的關鍵部分提供可重複使用的起點：
- Defect Image Generation skill 可協助建立合成缺陷資料。
- Video Data Augmentation skill 可協助擴展情境涵蓋範圍。
- NVIDIA TAO skill 可支援模型微調。
- NVIDIA video search and summarization (VSS) skill 可協助將影片理解轉化為可部署的工作流程，用於警示、報告、串流管理等用途。
開發者不必從頭重建每個步驟，而是可以使用這些可重複使用的工作流程來產生資料、改善模型，並更快部署視覺 AI 代理程式。
視覺檢測：產生產線缺少的資料
在製造業中，工廠越能成功預防缺陷，就越難收集足夠的缺陷範例來訓練下一個檢測模型。
Roboflow 正在將 NVIDIA Defect Image Generation skill 與 NVIDIA Cosmos 世界基礎模型整合到其視覺 AI 平台中，為 Corning 等客戶在真實訓練資料稀缺時生成合成缺陷影像，使偵測效能接近完美，同時大幅降低每日人工影像審查的需求。
在與 Corning 光纖製造工程團隊進行的基準測試中，一個僅以八張真實缺陷影像訓練，並加入 NVIDIA Defect Image Generation skill 生成的合成資料進行增強的模型，在最具挑戰性的缺陷類別上達到 95% 的平均精確度與完美召回率。這項表現超越了僅以真實資料訓練的基準模型，等於將原本需要多個季度的檢測專案壓縮到短短幾天。
觀看合成資料生成工作流程如何協助開發者建立訓練與改善物理 AI 模型所需的資料：
智慧城市：從影片分析到自主營運
大規模城市營運說明了為什麼視覺 AI 代理程式需要連貫的工作流程，而不只是推論。
台灣新創 Linker Vision 正在運用 NVIDIA Metropolis Blueprint for VSS 建置智慧城市 AI 系統，加速在城市基礎設施中部署影片推理代理程式。在這項工作流程中，VSS 技能可協助將搜尋、摘要、警示、報告與串流管理等常見影片 AI 任務，封裝成可由代理程式執行的可重複使用工作流程。
以 OpenUSD 為基礎的 NVIDIA Omniverse 數位孿生可協助建立城市環境模型，並測試視覺 AI 系統如何回應不同的交通模式、天氣條件、緊急事件與基礎設施變更。Linker Vision 使用 NVIDIA Cosmos 進行影片資料增強，並使用 NVIDIA TAO 進行 Cosmos 模型微調。
在高雄，Linker Vision 使用 VSS 藍圖將開發工作量降低 85%，並將事件回應時間最多縮短 80%。其較新的 AI-GRID 擴展則以此方法為基礎，結合 NVIDIA NemoClaw 藍圖打造安全的代理式 AI，支援跨城市與交通環境的自主影片推理。
工業營運：對正在發生的工作進行推理
在工業環境中，挑戰不只是偵測影片畫面中出現了什麼。團隊需要能夠做到以下事項的代理程式：
- 了解工作是否正確執行
- 將執行情況與標準作業程序進行比較
- 在缺陷流向下游之前產生洞察。
在 Foxconn，DeepHow 的 Live Standard Operating Procedure (SOP) Verification 代理程式使用 NVIDIA Metropolis VSS 藍圖作為代理式影片工作流程層，支援跨營運環境的搜尋、摘要與分析。NVIDIA Cosmos 提供推理能力，協助代理程式在脈絡中解讀複雜的人類活動與工作序列，例如組裝步驟是否正確且依預期順序執行。
這項解決方案已用於 NVIDIA GB300 伺服器產線，將一次通過率提升 3%，在關鍵 SOP 步驟的微動作理解上達到 99% 的任務層級準確度，並透過協助團隊更早發現問題來減少重複工作。
若想了解開發者如何建置並部署影片分析 AI 代理程式，請觀看這段使用 NVIDIA VSS skills with coding agents 的技術流程攻略。
探索 NVIDIA 代理程式技能與藍圖，以建置、營運並最佳化影片分析 AI 代理程式。
來源：Gartner，Predicts 2026: Physical AI Pushes I&O to the Edge，2026 年 3 月 3 日。Gartner 是 Gartner, Inc. 及 / 或其關係企業的商標。