過去一年來，生成式AI改變了人們的生活、工作和娛樂方式，從寫作、內容創作，到遊戲、學習和生產等領域，都有進一步的提升。PC 愛好者與開發人員正在率先推動這項開創性技術的發展。
此外，帶領產業變革的技術突破，有無數次都是在「車庫」這個地方發明出來的。從本週開始，我們將推出 RTX AI Garage系列，定期針對開發人員和愛好者發布內容，幫助他們深入瞭解 NVIDIA NIM 微服務與AI Blueprints，以及如何在 AI PC 上建構AI代理、創意工作流程、數位人、生產力應用程式等。歡迎來到 RTX AI Garage。
首期我們將聚焦本週稍早在 CES 上發表的內容，包括在 NVIDIA RTX AI PC上可使用的全新AI基礎模型，這些模型會將數位人、內容創作、生產力和開發提升至下一個境界。
這些模型將以NVIDIA NIM 微服務形式提供，由全新 GeForce RTX 50 系列 GPU 驅動。RTX 50 系列 GPU 建立在 NVIDIA Blackwell 架構上，可提供高達每秒 3,352 兆次的AI運算效能、32GB 的 VRAM 與 FP4 運算，讓AI推論效能提升一倍，使生成式AI能以更少的記憶體用量在本機上執行。
NVIDIA 同時推出了 NVIDIA AI Blueprints ，這些可立即使用和預先設置的工作流程為 NIM 微服務的一環，適用於數位人類與內容創作等應用程式。
NIM 微服務與AI Blueprints能讓愛好者與開發人員以前所未有的速度快速為PC 建構、迭代和提供人AI驅動的各式體驗。為 PC 使用者帶來新一波強大的實用功能。
利用 NVIDIA NIM 快速建立AI途徑
將AI進展帶入 PC 存在兩項主要挑戰。 首先，AI研究的步伐正在飛速邁進，每天都有新的模型出現在如 Hugging Face 等平台上，該平台目前已有超過一百萬組模型。因此，技術突破很快就會過時。
其次，將這些模型調適為 PC 所用，是一項複雜且需多方資源配合的過程。將這些模型針對 PC 硬體進行最佳化，並與AI軟體整合，再連接至應用程式，需要大量的工程工作。
NVIDIA NIM 針對 PC 提供了預先封裝、最先進和最佳化的AI模型，協助解決這些挑戰。這些 NIM 微服務涵蓋各模型領域，按一下即可安裝，藉由應用程式設計介面 (APIs) 輕鬆整合，並利用 NVIDIA AI軟體與 RTX GPU 加速效能。
在 CES 上，NVIDIA 宣布為 RTX AI PC 提供一系列 NIM 微服務工作流程，支援大型語言模型 (LLM)、
視覺語言模型、影像生成功能、語音、檢索增強生成功能 (RAG)、PDF 擷取與電腦視覺等應用場景。
全新的 Llama Nemotron 系列開放式模型，在各種代理式任務中，提供了極高的精準度。Llama Nemotron Nano 模型將作為 NIM 微服務提供給 RTX AI PC 與工作站，在指令追蹤、功能呼叫、聊天、
編碼與運算等代理式AI任務中表現出眾。
很快地，開發人員將能夠在使用 Windows Subsystem for Linux (WSL) 的 Windows 11 PC 上快速下載並執行這些微服務。
為了向愛好者與開發人員展示如何使用 NIM 來建構AI代理與助理，NVIDIA 公布了 Project R2X 預覽，
這是一種具有視覺能力的 PC 數位化身，它可以讓使用者所需的資訊觸手可及、協助使用桌面應用程式、進行視訊會議通話、閲讀與總結文件等功能。訂閱以獲取 Project R2X 的最新消息。
透過 NIM 微服務的使用，AI愛好者可跳過模型策劃、最佳化與後端整合等繁複過程，專注在尖端AI模型的創造與創新。
API 中有哪些內容？
API 是應用程式與軟體庫溝通的方式。API 定義了一組「呼叫」，應用程式可呼叫軟體庫，以及可獲得的預期回應。傳統的AI API 需要大量的設定與配置，使得AI功能的使用難度更高，並阻礙創新。
NIM 微服務提供易於使用、直覺式 API，讓應用程式輕鬆傳送要求並獲得回應。此外，這些微服務都是依照不同類型的模型及其輸入與輸出的介質而設計的。例如，LLM 會輸入文字，然後輸出文字；影像生成器會將文字轉換為影像；語音辨識器會將語音轉換為文字等。
這些微服務的設計，將讓先進的AI開發與代理框架無縫整合，例如 AI Toolkit for VSCode、AnythingLLM、ComfyUI、Flowise AI、LangChain、Langflow 與 LM Studio 等。開發人員可前往 build.nvidia.com 輕鬆下載並部署。
透過將這些 API 引入 RTX，NVIDIA NIM 將加速 PC 的AI創新。
愛好將可藉由即將發布的 NVIDIA ChatRTX 技術示範影片，體驗一系列的 NIM 微服務。
為創新而生的藍圖
開發人員與愛好者可透過針對 PC 打造的預先封裝、最佳化和最先進的模型，快速建立由AI驅動的專案。
之後更能進一步結合多種AI模型和其他功能，建立複雜的應用程式，例如數位人類、Podcast 生成器與應用程式助理。
NVIDIA AI Blueprints以 NIM 微服務為基礎，為更複雜AI工作流程提供了參考實例。它們可協助開發人員將多個元件，包括函式庫、軟體開發套件與AI模型，連結至單一的應用程式中。
AI Blueprints包含了開發人員在建立、執行、自訂及擴展參考工作流程時所需的一切內容，其中包括參考應用程式與原始程式碼、樣本資料，以及自訂與協調不同元件的文件。
在 CES 上，NVIDIA 宣布為 RTX 提供兩種AI Blueprints：一種是由 PDF 生成 Podcast，使用者可從任何 PDF 生成 Podcast；另一種是由 3D 引導的生成式AI，以 FLUX.1 [dev] 為基礎，預計將作為 NIM 微服務提供，讓藝術家更能掌控以文字生成的影像功能。
開發人員可利用AI Blueprints，快速地將AI從實驗階段帶入開發階段，在 RTX PC 與工作站上建立尖端工作流程。
專為生成式AI而打造
全新 GeForce RTX 50 系列 GPU 專為解決複雜的生成式AI挑戰而打造，採用 FP4 支援的第五代 Tensor
核心、速度更快的 G7 記憶體與AI管理處理器，能高效地在AI與創作工作流程之間同時執行多項任務。
GeForce RTX 50 系列新增了 FP4 的支援，創造出適用於 PC 的出色效能及更多模型。FP4 是一種輕量化方法，類似於檔案壓縮，可縮減模型大小。與 FP16 (大多數模型採用的預設方式) 相比，FP4 使用的記憶體不到一半，而 50 系列 GPU 提供的效能較前一代高出 2 倍之多。NVIDIA TensorRT Model Optimizer 提供先進的量化方法，幾乎不會對品質造成損失。
例如，在 FP16 中的 Black Forest Lab 的 FLUX.1 [dev] 模型需要超過 23GB 的 VRAM，也就是說，只有 GeForce RTX 4090 與專業 GPU 才能支援。若使用了 FP4，FLUX.1 [dev] 只需要不到 10GB，因此只要本機有足夠的 GeForce RTX GPU 即可執行。
採用 FP16 的 GeForce RTX 4090，FLUX.1 [dev] 模型需經過 30 個步驟在 15 秒內生成影像。而採用 FP4 的 GeForce RTX 5090，可在五秒多一點的時間內生成影像。
立即開始使用針對 PC 設計的全新AI API
NVIDIA NIM 微服務與 AI Blueprints預計將於下個月開始提供。初期將由 GeForce RTX 50 系列、GeForce RTX 4090 和 4080 與 NVIDIA RTX 6000 與 5000 專業 GPU 提供硬體支援。未來將會支援更多的 GPU。
支援 NIM 的 RTX AI PC 預計將由 Acer、ASUS、Dell、GIGABYTE、HP、Lenovo、MSI、Razer 和 Samsung ，以及 Corsair、Falcon Northwest、LDLC、Maingear、Mifcon、Origin PCS 和 Sca等系統製造商 提供。
GeForce RTX 50 系列 GPU 與筆記型電腦提供創新效能，為AI帶來變革性的體驗，讓創作者可在前所未有的時限內完成工作流程。請繼續觀看 NVIDIA 執行長黃仁勳的專題演講，深入瞭解 NVIDIA 在 CES 上發表的AI最新消息。
請參閱更多軟體產品資訊 通知 。