NVIDIA 推出開放式推理 AI 模型系列，供開發人員和企業建構代理型 AI 平台

• 全新 Llama Nemotron 推理模型經過 NVIDIA 的後期訓練，為代理型 AI 提供商業就緒的基礎
• 埃森哲、Amdocs、Atlassian、Box、Cadence、CrowdStrike、德勤、IQVIA、微軟、SAP 及 ServiceNow 與 NVIDIA 合作，率先推出推理 AI 代理以改變工作方式

【2025年3月18日，美國聖荷西訊】NVIDIA 今日宣布推出具有推理能力的開放式 Llama Nemotron 模型系列，為開發人員和企業提供商業就緒的基礎，以建立可獨立作業或是組隊解決複雜任務的先進 AI 代理。

NVIDIA Llama Nemotron 推理模型系列以 Llama 模型為基礎，提供隨選的 AI 推理功能。NVIDIA為此全新推理模型系列強化後期訓練，以改善多步驟數學、程式撰寫、推理和複雜決策。

與基礎模型相比，這個改進過程將模型的準確度提高了 20%，而與其他領先的開放式推理模型相比，推論速度高出五倍。推論表現提高代表模型可以處理更複雜的推理任務，有著強大的決策能力，降低企業的經營成本。

領先的代理 AI 平台先驅，包括埃森哲（Accenture）、Amdocs、Atlassian、Box、Cadence、CrowdStrike、德勤（Deloitte）、IQVIA、微軟、SAP 和 ServiceNow，皆與 NVIDIA 合作開發全新的推理模型和軟體。

NVIDIA 創辦人暨執行長黃仁勳表示：「推理與代理型 AI 的採用程度令人難以置信。NVIDIA 的開放式推理模型、軟體和工具為世界各地的開發人員與企業提供了建立加速代理型 AI 團隊的基礎。」

NVIDIA 後期訓練提高企業推理的精準度與可靠性

專為提供生產就緒的 AI 推理而開發的 Llama Nemotron 模型系列，以 Nano、Super 和 Ultra 三種規格的 NVIDIA NIM™ 微服務提供。每種規格均已針對不同的部署需求進行改善。

Nano 模型在 PC 與邊緣裝置上提供最高的準確度，Super 模型則在單一 GPU 上提供最佳的準確度與最高的輸送量，而 Ultra 模型在多 GPU 伺服器上提供最高的代理準確度。

NVIDIA 使用 NVIDIA Nemotron™ 模型所產生的精選高品質合成資料，以及 NVIDIA 共同建立的其他精選資料集，在 NVIDIA DGX™ Cloud 上進行大規模的後期訓練。

NVIDIA 將會公開開發模型所使用的工具、資料集和後期訓練最佳化技術，讓企業可以充分靈活地建立專屬的推理模型。

代理型平台與 NVIDIA 合作強化產業推理能力 

代理型 AI 平台產業領導業者使用 Llama Nemotron 推理模型，為企業提供進階推理功能。

微軟將 Llama Nemotron 推理模型與 NIM 微服務整合至 Microsoft Azure AI Foundry中。這將擴大 Azure AI Foundry 模型目錄，提供客戶不同選擇，以增強適用於 Microsoft 365 之 Azure AI Agent Service 等服務。

SAP 使用 Llama Nemotron 模型來推動開發 SAP Business AI 解決方案及 SAP 的 AI copilot Joule。SAP 還使用 NVIDIA NIM 與 NeMo™ 微服務來提升 SAP ABAP 程式語言模型的程式碼完成準確度。

SAP全球AI主管 Walter Sun 表示：「我們正在與 NVIDIA 合作，將 Llama Nemotron 推理模型整合至 Joule，以增強我們的 AI 代理，使它們更直覺、更準確且更具成本效益。這些先進的推理模型將精煉和重新撰寫，讓我們的 AI 能夠更好地理解查詢內容，並提供更聰明、更高效的 AI 驅動體驗，從而推動業務創新。」

ServiceNow 使用 Llama Nemotron 模型建立 AI 代理，提供更高的效能與準確度，以提升各類產業的企業生產力。

埃森哲在該公司的 AI Refinery 平台上提供 NVIDIA Llama Nemotron 推理模型，其中包括今日發表的全新產業代理解決方案，讓客戶能夠針對特定產業的挑戰，快速開發與部署客製化 AI 代理，加速推動業務轉型。

德勤規劃將 Llama Nemotron 推理模型納入該公司日前發表的 Zora AI 代理型 AI 平台，該平台能夠利用可擷取特定產業商業知識的代理來支援人類決策。

NVIDIA AI Enterprise 為代理型 AI 提供必要工具

開發人員可利用全新的 NVIDIA 代理型 AI 工具和軟體部署 NVIDIA Llama Nemotron 推理模型，以簡化協作式 AI 系統中採用進階推理的過程。

這一切皆屬於 NVIDIA AI Enterprise 軟體平台，最新的代理型 AI 建置模組有：

• NVIDIA AI-Q AI Blueprint 讓企業能夠將知識連結至可自主感知、推理與行動的 AI 代理。使用 NVIDIA NIM 微服務建構出的這些藍圖，整合 NVIDIA NeMo Retriever™ 以進行多模態資訊檢索，並且透過開源的 NVIDIA AgentIQ 工具套件，達到代理與資料的連結、最佳化與透明度。
• NVIDIA AI Data Platform是一個可以自訂的參考設計，適用於使用 AI-Q Blueprint 建置、具有 AI 查詢代理的新型企業基礎設施。
• 全新 NVIDIA NIM 微服務能夠最佳化複雜代理型 AI 應用的推論，並在任何環境下都能進行持續學習與即時適應。這些微服務確保可以可靠的部署包含 Meta、微軟和 Mistral AI 等各大模型建構商所推出的最新模型。
• NVIDIA NeMo 微服務提供高效率的企業級解決方案，可以快速建立與維護強大的資料飛輪，讓 AI 代理能夠一直從人類與 AI 所產生的回饋資料中學習。用於建立資料飛輪的 NVIDIA AI Blueprint 將為開發人員提供一個參考架構，讓他們能夠使用微服務輕鬆建立與最佳化資料飛輪。

上市時程

NVIDIA Llama Nemotron Nano 和Super 模型及 NIM 微服務以託管應用程式介面形式，現已可在 build.nvidia.com 與 Hugging Face 取得。NVIDIA 開發人員計畫會員可免費取得以進行開發、測試和研究。

企業可以在加速資料中心與雲端基礎設施上，透過 NVIDIA AI Enterprise 於生產環境裡運行 Llama Nemotron NIM 微服務。開發人員可以註冊，以便在開放提供 NVIDIA NeMo 微服務時收到通知。

NVIDIA AI-Q Blueprint 預計將於4 月推出。現已可在 GitHub 上取得 NVIDIA AgentIQ 工具套件。