NVIDIA 推出生成式人工智慧微服務，供開發人員在裝有 NVIDIA CUDA GPU 的機器上建立及部署生成式人工智慧輔助夥伴

• GPU 加速的 NVIDIA NIM 微服務及雲端端點的全新目錄，適用於預先訓練的人工智慧模型，在經過最佳化調整後便可在雲端、資料中心、工作站及 PC 上數億個支援 CUDA 的 GPU 上運行
• 企業可使用微服務加速資料處理、客製化大型語言模型、推論、檢索-增強生成和 Guardrails
• 包括主要應用程式平台提供商 Cadence、CrowdStrike、SAP、ServiceNow 等廣泛的人工智慧生態系統均有採用

NVIDIA 今日推出數十種企業級生成式人工智慧（AI）微服務，企業可以使用這些服務在自己的平台上建立及部署客製化的應用程式，同時又保留完全持有和控制自有智慧財產權的權利。

建立在 NVIDIA CUDA®  平台上的雲端原生微服務目錄，其中包括 NVIDIA NIM^TM 微服務，用於對 NVIDIA 及其合作夥伴生態系統中的二十多種熱門 AI 模型提供最佳的推論結果。NVIDIA 的加速軟體開發套件、函式庫及工具現在還能作為 NVIDIA CUDA-X 微服務開放使用，用於檢索增強生成（RAG）、guardrails、資料處理、高效能運算（HPC）等作業。NVIDIA 也分別發表了二十多款用於醫療保健領域的 NIM 和 CUDA-X 微服務項目。

經過精心挑選的微服務又為 NVIDIA 全端運算平台加入了一個新的層面。這一層以標準化的路徑連接了由模型開發人員、平台提供商和企業組成的 AI 生態系統，以運行針對在雲端、資料中心、工作站和 PC 中安裝的上億個 NVIDIA CUDA GPU 進行最佳化調整的客製化 AI 模型。

Adobe、Cadence、CrowdStrike、Getty Images、SAP、ServiceNow 和 Shutterstock 是首批使用 NVIDIA AI Enterprise 5.0 中提供之全新 NVIDIA 生成式 AI 微服務的主要應用程式、資料和網路安全平台提供商。

NVIDIA 創辦人暨執行長黃仁勳表示：「成熟的企業平台坐擁資料金礦，這些資料可以變成生成式人工智慧的輔助夥伴（copilot）。這些與我們的合作夥伴生態系統共同打造的容器化人工智慧微服務，是各行各業的企業成為人工智慧公司的基石。」

NIM 推論微服務將部署時間從數週縮短至只要數分鐘即可完成

NIM 微服務提供由 NVIDIA 推論軟體（包括 Triton Inference Server^TM 和 TensorRT^TM-LLM）驅動的預先建置容器，使得開發人員能夠將部署時間從原本的數週縮短到幾分鐘。

這些微服務為語言、語音和藥物發現等領域提供了符合產業標準的應用程式介面（API），讓開發人員能夠使用安全託管在自己基礎設施中的專有資料快速開發人工智慧應用程式。這些應用程式可以依使用需求調整規模，為在 NVIDIA 加速運算平台上運行生成式人工智慧提供了絕佳的靈活性和效能。

NIM 微服務為部署 NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock 的模型，以及 Google、Hugging Face、Meta、Mistral AI 和 Stability AI 的開放模型，提供了速度最快、執行效能最高的生產型AI容器，不久還將支援微軟的模型。

ServiceNow 今日宣布該公司正在使用 NIM，以更快的速度與更高的成本效益開發和部署全新特定領域的AI輔助夥伴，還有其他生成式AI應用程式。

客戶將能夠從 Amazon SageMaker、Google Kubernetes Engine 與 Microsoft Azure AI使用 NIM 微服務，並且與 Deepset、LangChain 和 LlamaIndex 等熱門的AI框架進行整合。

用於 RAG、資料處理、Guardrails、高效能運算的 CUDA-X 微服務

CUDA-X 微服務為資料準備、客製化和訓練提供端到端的建構模組，以加快各行各業開發生產型人工智慧的速度。

企業可以使用多項 CUDA-X 微服務，包括用於可自訂語音和翻譯 AI 的 NVIDIA Riva、用於設定最佳路徑的 NVIDIA cuOpt™，以及用於高解析度氣候和天氣模擬的 NVIDIA Earth-2，以加快採用 AI 的腳步。

開發人員可以透過 NeMo Retriever™ 微服務，串連 AI 應用程式與文字、圖片，以及長條圖、折線圖和圓餅圖等視覺化資料等業務資料，以產生出高度準確又與語境脈絡相關的回應。有了這些 RAG 功能，企業就能為 AI 輔助夥伴、聊天機器人和生成式人工智慧生產力工具提供更多資料，以提高準確性和獲得更寶貴的見解。

NVIDIA 不久後將推出用於開發客製化模型的其他 NVIDIA NeMo™ 微服務。這些服務包括針對建立用於訓練和檢索之簡潔資料集的 NVIDIA NeMo Curator、用於利用特定領域資料微調大型語言模型 （LLM）的 NVIDIA NeMo Customizer、用於分析人工智慧模型效能的 NVIDIA NeMo Evaluator，以及用於 LLM 的 NVIDIA NeMo Guardrails。

生態系統利用生成式人工智慧微服務增強企業平台

除了主要的應用程式提供商，整個 NVIDIA 生態系統中的資料、基礎架構和運算平台提供商同樣與 NVIDIA 微服務合作，將生成式 AI 帶給企業使用。

包括 Box、Cloudera、Cohesity、Datastax、Dropbox、NetApp 及 Snowflake 在內的領先資料平台提供商正在與 NVIDIA 微服務合作，協助客戶將其 RAG 管道調整最佳狀態，並將其專有資料與生成式人工智慧應用程式進行整合。Snowflake 透過 NeMo Retriever 來利用企業數據構建 AI 應用。

企業可以在自己選擇的基礎架構上部署 NVIDIA AI Enterprise 5.0 所包含的 NVIDIA 微服務，例如 Amazon Web Services（AWS）、Google Cloud、Azure 和 Oracle Cloud Infrastructure 等主要雲端運算平台。

NVIDIA 微服務還支援 400 多個 400 NVIDIA 認證系統，包括思科、戴爾科技集團、慧與科技、惠普、聯想 及美超微等公司所推出的伺服器和工作站。慧與科技今天另宣布推出用於生成式人工智慧的 企業運算解決方案，並且將把 NIM 和 NVIDIA AI Foundation 模型納入慧與科技的人工智慧軟體。

NVIDIA AI Enterprise 微服務即將加入基礎架構軟體平台，包括與 NVIDIA 合作的 VMware Private AI Foundation。Red Hat OpenShift 支援 NVIDIA NIM 微服務，協助企業更輕鬆地將生成式人工智慧功能與應用程式進行整合，並且獲得最高的安全性、合規性和控制功能。Canonical 正透過 NVIDIA AI Enterprise 為 NVIDIA 微服務加入支援 Charmed Kubernetes 的能力。

NVIDIA 生態系統由數百家人工智慧和 MLOps 合作夥伴組成，其中包括 Abridge、Anyscale、Dataiku、DataRobot、Glean、H2O.ai、Securiti AI、Scale.ai、OctoAI 及 Weights & Biases，它們將透過 NVIDIA AI Enterprise 來加入支援 NVIDIA 微服務。

Apache Lucene、Datastax、Faiss、Kinetica、Milvus、Redis 和 Weaviate 等向量搜尋提供商與 NVIDIA NeMo Retriever 微服務合作，為企業提供反應靈敏的 RAG 功能。

供貨時程

開發人員可以在 ai.nvidia.com 網站免費試用 NVIDIA 微服務。企業可以利用在 NVIDIA 認證系統及主要雲端平台上運行的 NVIDIA AI Enterprise 5.0 部署生產級 NIM 微服務。

欲瞭解更多資訊，請觀看黃仁勳於 GTC 的主題演講，並參觀 NVIDIA 3 月 18 至 21 日在 GTC 的現場攤位。