因為 NVIDIA 和 Anyscale 的合作，大型語言模型發展的速度將達到超音速。
在年度 Ray Summit 開發者大會上，Anyscale（推出用於可擴充運算的快速發展的開源整合運算框架的公司）今天宣布，將 NVIDIA 人工智慧導入 Ray open source 和 Anyscale 平台。 它亦將整合到今天宣布的一項新服務 Anyscale Endpoints 中，使應用程式開發人員可以使用最普遍的開源模型輕鬆且具成本效益的將大型語言模型嵌入到他們的應用程式中。
這些整合可以大幅的加速生成式人工智慧的開發和效率，同時提高可以正式上線使用的人工智慧技術的安全性，從專有的大型語言模型到 Code Llama、Falcon、Llama 2、SDXL 等開放式模型。
開發人員將可以靈活地使用 Ray 部署開源 NVIDIA 軟體，或選擇在 Anyscale 平台上運行的 NVIDIA AI Enterprise 軟體，以實現完全受支援的、安全的可正式上線使用的人工智慧技術部署。
Ray 和 Anyscale 平台被開發者廣泛使用，為生成式人工智慧的應用建構先進的大型語言模型，這些應用能夠支援智慧聊天機器人、編碼輔助工具和強大的搜尋和摘要工具。
NVIDIA 和 Anyscale 提供速度、節省和效率
生成式人工智慧應用正在吸引全球企業的關注。 微調、增強和運行大型語言模型需要大量投資和專業知識。 NVIDIA 和 Anyscale 攜手合作，可以透過大量應用程式整合來幫助降低開發和部署生成式人工智慧的成本和複雜性。
上周發表的新開源軟體 NVIDIA TensorRT-LLM 將支援 Anyscale 產品，以增強大型語言模型的效能和效率，從而節省成本。 Tensor-RT LLM 也受到 NVIDIA AI Enterprise 軟體平台的支持，可自動擴展推論，在多個 GPU 上平行運行模型，與上一代 GPU 相比，在 NVIDIA H100 Tensor Core GPU 上運行時，效能可提高多達8 倍。
TensorRT-LLM 自動擴展推論以在多個 GPU 上平行運行模型，並包括自訂 GPU 內核和針對各種普遍的大型語言模型的優化。 它還實現了 NVIDIA H100 Tensor Core GPU Transformer Engine 中提供新 FP8 數字格式，並提供易於使用和可客製化的 Python 界面。
NVIDIA Triton 推論伺服器軟體支援雲端、資料中心、邊緣以及在 GPU、CPU 及其他處理器上的嵌入式裝置。它的整合可以使 Ray 開發人員從多個深度學習和機器學習框架部署人工智慧模型時提高效率，這些框架包括 TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO、Python、RAPIDS XGBoost 等等。
透過 NVIDIA NeMo 框架，Ray 使用者將能輕鬆運用商業資料微調及自訂大型語言模型，為理解各別企業獨特產品的大型語言模型提供了解決方案。
NeMo 是一個端到端、雲原生框架，可在任何地方建構、自訂和部署生成式人工智慧模型。它具有訓練和推論框架、guardrailing 工具套件、資料編輯工具和預先訓練的模型，為企業採用生成式人工智慧提供了一種簡單、具成本效益和快速的方式。
開源或完全支援可正式上線使用的人工智慧技術選項
開源的 Ray 和 Anyscale 平台使開發人員能夠輕鬆地從開源轉向在雲中大規模部署可以正式上線使用的人工智慧技術。
Anyscale 平台提供完全託管、企業就緒的整合運算 (unified computing)，可以使用 Ray 輕鬆建構、部署和管理可擴展的人工智慧和 Python 應用程式，幫助客戶以顯著降低的成本更快地將人工智慧產品推向市場。
無論開發人員使用 Ray 開源還是受支援的 Anyscale 平台，Anyscale 的核心功能都可以幫助他們輕鬆編排大型語言模型工作負載。 NVIDIA 人工智慧整合可以幫助開發人員以更高的效率建構、訓練、調整和擴展人工智慧。
Ray 和 Anyscale 平台可在具領導地位的雲端平台上的加速運算環境運行，使用者可以選擇在混合雲或多雲運算上運行。 這有助於開發人員輕鬆擴展規模，因為他們需要更多運算來成功部署大型語言模型。
此次合作還將使開發人員能夠開始透過 NVIDIA AI Workbench 在其工作站上建構模型，並在投入生產後輕鬆跨混合或多雲加速運算進行擴展。
NVIDIA 人工智慧與 Anyscale 的整合正在開發中，預計將於今年年底推出。
開發人員可以註冊獲取有關此整合的最新消息以及 NVIDIA AI Enterprise 的 90 天免費評估
欲了解更多訊息，請參加本週在舊金山舉行的 Ray Summit 峰會或觀看下面的展示影片。
請參閱有關 NVIDIA 軟體路線圖的通知。