代理的實用程度取決於它掌握的知識,而其可信賴程度則取決於執行時所遵循的邊界。
領先企業正運用開放原始碼的 NVIDIA Agent Toolkit,客製並控管代理,讓代理依據公司資料產生回答與採取行動、監控代理的行為,並治理其運作方式。這套工具組如今已進一步擴充,加入全新工具。
NVIDIA Agent Toolkit 包含:
- 全新 NVIDIA Agent Knowledge Foundation,搭載 NVIDIA CUDA-X 函式庫
- NVIDIA 開放模型,包括 Nemotron Retriever 與全新 Kumo 系列
- NVIDIA OpenShell 安全代理執行階段
- NVIDIA NemoClaw 安全代理藍圖
- NeMo Relay 與 NeMo Compass等工具與技能
若要開發能完成實際工作,且從開發到部署都值得信賴的代理,開發者需要一套開放的代理堆疊,整合模型、代理框架 (harness)、執行階段、資料與工具。
NVIDIA Agent Knowledge Foundation 協助企業將資料轉化為代理可運用的企業智慧。代理能找出相關資訊、理解其對業務的意義,並據此進行預測,協助人員決定下一步行動。企業無須搬移資料、重建既有工作流程或變更治理控管措施,即可使用 Agent Knowledge Foundation。
此基礎平台搭載 NVIDIA CUDA-X 函式庫,包括 cuDF、cuGraph、cuML、cuOpt 與cuVS,以及全新的 Auto-Ontology 函式庫。後者可將原始公司資料轉換為客戶、產品與訂單等熟悉的業務概念,並描繪它們之間的關係。
平台也包含 NVIDIA Nemotron Retriever 與 Kumo Structured 開放模型,包括 Kumo Tabular、Kumo Relational、Kumo Time Series 與 Kumo Forecast,協助代理找出相關公司資訊,以回答問題並進行預測。
OpenShell 提供安全的執行階段邊界,讓企業掌控代理可存取的資源與可執行的操作。NVIDIA NemoClaw 藍圖則提供參考設計,用於建構安全、專業化的代理。最新的 NemoClaw 代理最佳化藍圖提供循序漸進的起點,協助提升代理智慧,讓代理隨著時間推移更能勝任工作。
企業採用 NVIDIA Agent Knowledge Foundation
全新的 NVIDIA Agent Knowledge Foundation 已在多家企業中投入應用。
透過與 Palantir 合作,NVIDIA 供應鏈團隊正透過 Palantir Foundry、Ontology 與 AIP 使用 Agent Knowledge Foundation,部署專業化代理,將專有資料轉化為可據以行動的智慧,預測結果並最佳化決策。
Databricks 將 NVIDIA Kumo Anomaly 與 Databricks Genie Ontology 結合,驅動具備情境感知能力的代理。
Snowflake 讓客戶能在 Snowflake Notebook 環境中使用 NVIDIA Kumo Engine 與 Kumo Relational 開放模型,發揮更多預測能力。
NVIDIA Nemotron Retriever 模型讓搜尋更快速、更精準。Amazon OpenSearch Service 運用嵌入模型,以更少的搜尋步驟提升相關性,且幾乎不增加延遲。SAP 經微調的重新排序模型,執行速度提升至近 3 倍。ServiceNow 在提升重新排序品質的同時,將延遲降低近四分之一。Zoom 正運用 Nemotron Retriever 模型,改善 Zoom AI Services 的文件理解、搜尋相關性與上下文檢索。
Amazon Web Services (AWS)、ClickHouse、Cloudera、Cohesity、達梭系統、戴爾科技、Elastic、Exa、IBM、NetApp、Oracle、Perplexity、Starburst 與 VAST Data 等企業,也正以 Agent Knowledge Foundation 為基礎進行開發。
回顧這場探討如何在正式環境中建構、部署與最佳化專業化代理的 GTC 柏林議程,深入了解相關資訊。
