NVIDIA AI Foundry 為全球企業打造客製化 Llama 3.1 生成式 AI 模型

• 企業和國家現在可以透過 NVIDIA AI Foundry 使用自己的資料並搭配 Llama 3.1 405B 和 NVIDIA Nemotron 模型來建立「超級模型」
• NVIDIA AI Foundry 提供全面的生成式 AI 模型服務，涵蓋集合管理、合成資料產生、微調、檢索、防護和評估，以部署具備全新 NVIDIA NeMo Retriever 微服務以提供精準回應的客製化 Llama 3.1 NVIDIA NIM 微服務
• 埃森哲率先使用新服務為客戶建構客製化 Llama 3.1 模型；沙烏地阿拉伯國家石油公司、AT&T、Uber 和其他產業領導者率先使用全新 Llama NVIDIA NIM 微服務

NVIDIA 今天宣布推出新的 NVIDIA AI Foundry 服務和 NVIDIA NIM™ 推論微服務，透過今天同樣推出的 Llama 3.1開放模型系列，為全球企業增強生成式人工智慧（AI）能力。

借助 NVIDIA AI Foundry，企業和國家現在可以使用 Llama 3.1 和 NVIDIA 軟體、運算和專業知識為其特定領域的產業用例創建客製化「超級模型」。企業可以使用專有資料以及 Llama 3.1 405B 和 NVIDIA Nemotron™ Reward 模型產生的合成資料來訓練這些超級模型。

NVIDIA AI Foundry 由 NVIDIA DGX™ Cloud AI 平台驅動，該平台是與世界領先的公有雲共同設計的，可為企業提供重要的運算資源，並可根據 AI 需求的變化輕鬆擴展。

這些新產品推出正值企業以及制定主權 AI 策略的國家都希望利用特定領域的知識來建立客製化的大型語言模型，以用於反映其獨特的業務或文化的生成式AI應用。

NVIDIA 創辦人暨執行長黃仁勳表示：「Meta 公開推出的 Llama 3.1 模型代表了全球企業採用生成式 AI 的關鍵時刻。Llama 3.1 為每個企業和產業打開了建構最先進的生成式人工智慧應用的閘門。 NVIDIA AI Foundry 已全面整合 Llama 3.1，並準備好協助企業建置和部署客製化 Llama 超級模型。」

Meta 創辦人暨執行長馬克．祖克伯（Mark Zuckerberg）表示：「全新的 Llama 3.1 系列模型為開源AI的超級重要一步。企業透過NVIDIA AI Foundry可以輕鬆創造和客製大家最想要的先進的AI服務，並透過 NVIDIA NIM 部署。我很高興能把它交付到大家的手中。」

為了增強用於生產 AI 的 Llama 3.1 模型的企業部署，現在可從 ai.nvidia.com 下載適用於 Llama 3.1 模型的 NVIDIA NIM 推論微服務。 NIM 微服務是在生產環境中部署 Llama 3.1 模型的最快方式，與不使用 NIM 運行推理相比，吞吐量可提高 2.5 倍。

企業可以將 Llama 3.1 NIM 微服務與全新 NVIDIA NeMo Retriever NIM 微服務配對，為 AI copilots、助理和數位人分身創建最先進的檢索管道。

埃森哲率先透過 AI Foundry 為企業客製化 Llama 超級模型

全球專業服務公司 Accenture 率先採用 NVIDIA AI Foundry，利用 Accenture AI Refinery™ 框架建立客製化 Llama 3.1 模型，既供其自身使用，也提供尋求能夠部署反映其文化、語言和產業的生成式 AI 應用程式的客戶使用。

埃森哲董事暨執行長朱莉·史威特（Julie Sweet）表示：「世界領先的企業看到了生成式 AI 如何改變每個產業，並渴望部署由客製化模型驅動的應用程式。埃森哲一直於內部 AI 應用中使用 NVIDIA NIM 推論微服務，現在透過 NVIDIA AI Foundry，我們可以幫助客戶快速創建和部署客製化 Llama 3.1 模型，驅動為他們的業務目標設計的變革性 AI 應用。」

NVIDIA AI Foundry 提供端對端服務，可快速建立客製化超級模型。它將 NVIDIA 軟體、基礎設施和專業知識與 NVIDIA AI 生態系的開放社群模式、技術和支援相結合。

透過 NVIDIA AI Foundry，企業可以使用 Llama 3.1 模型和 NVIDIA NeMo平台建立客製化模型。NVIDIA NeMo 平台包括有在 Hugging Face Reward Bench 上排名第一的 NVIDIA Nemotron-4 340B Reward 模型。

一旦客製化模型建立完成，企業可以在其偏好的雲端平台和來自全球伺服器製造商的 NVIDIA 認證系統上，使用其偏好的 MLOps 和 AIOps 平台，創建 NVIDIA NIM 推論微服務於生產環境中來運行這些模型。

NVIDIA AI Enterprise 專家和全球系統整合商夥伴與 AI Foundry 客戶合作，加速從開發到部署的整個流程。

NVIDIA Nemotron 推動先進模型客製化

需要額外訓練資料來創建特定領域模型的企業，可以同時使用 Llama 3.1 405B 和 Nemotron-4 340B 生成合成資料，從而在創建客製化 Llama 超級模型時提高模型準確性。

擁有自有訓練資料的客戶，可以使用 NVIDIA NeMo 客製化 Llama 3.1 模型，以進行領域自適應預訓練（DAPT），以進一步提高模型準確性。

NVIDIA 和 Meta 也合作提供了 Llama 3.1 的蒸餾方案（distillation recipe），開發人員可以藉此構建更小的客製化 Llama 3.1 模型以用於生成式 AI 應用。這使企業能夠在更廣泛的加速基礎設施上運行 Llama 驅動的 AI 應用，例如 AI 工作站和筆記型電腦。

業界領導企業藉助 NVIDIA 和 Llama 增強 AI 能力

醫療保健、金融服務、零售、運輸和電信領域的公司已經開始使用 NVIDIA NIM 微服務來支援 Llama。首批使用 Llama 3.1 新版 NIM 微服務的企業包括沙烏地阿拉伯國家石油公司、AT&T、Uber 和其他產業領導者。

Llama 3.1 多語言大型語言模型集群由超過 16,000 個 NVIDIA H100 Tensor Core GPU 訓練而成，並針對 NVIDIA 加速運算和軟體進行了最佳化—無論是在資料中心、雲端還是配備 NVIDIA RTX™ GPU 的本地工作站或配備 GeForce RTX GPU 的電腦上。這些生成式 AI 模型包括 8B、70B 和 405B 參數規模的模型。

全新 NeMo Retriever RAG 微服務提升準確性和效能

使用新的 NVIDIA NeMo Retriever NIM 推論微服務進行檢索增強生成（RAG），組織可以在生產環境中部署客製化的 Llama 超級模型和 Llama NIM 微服務時，提升回應準確性。

結合 Llama 3.1 405B 的 NVIDIA NIM 推論微服務，NeMo Retriever NIM 微服務為 RAG 管線提供最高的開源和商業文本問答檢索準確性。

企業生態系統準備支援 Llama 3.1 和 NeMo Retriever NIM 部署

數百家提供企業、資料和基礎設施平台的 NVIDIA NIM 夥伴，現在可以將這些新微服務整合到他們的 AI 解決方案中，為超過 500 萬名開發人員和 19,000 家新創公司組成的 NVIDIA 社群增強生成式 AI。

NVIDIA AI Enterprise 現已提供對 Llama 3.1 NIM 和 NeMo Retriever NIM 微服務的生產支援。NVIDIA 開發者計劃的成員很快將能免費獲得 NIM 微服務，以便在其偏好的基礎設施上進行研究、開發和測試。