NVIDIA 運用 GeForce RTX AI PC 實現 AI 助理的真實體驗

Project G-Assist、用於數位人的NVIDIA ACE NIM 及生成式AI工具在 RTX 筆記型電腦上提供先進的AI體驗;適用於小語言模型的 RTX 加速 API即將加入 Windows Copilot Runtime
作者 NVIDIA Corporation

NVIDIA 今日宣布推出全新 NVIDIA RTX 技術,用於支援在新款 GeForce RTX 人工智慧(AI)筆記型電腦上運行的 AI 助理及數位人。 

NVIDIA 推出由 RTX 支援的 AI 助理技術展示內容 Project G-Assist,可為 PC 遊戲及應用程式提供環境感知協助功能。在開發商 Studio Wildcard 推出的《方舟:生存升級(ARK: Survival Ascended)》遊戲中,Project G-Assist 的技術展示內容將首度亮相。NVIDIA 亦為 NVIDIA ACE 數位人平台推出首項用於 PC NVIDIA NIM™ 推論微服務。 

這些技術將由一套包括全新工具和軟體開發套件(SDK) NVIDIA RTX AI 工具套件支援,可幫助開發者在 Windows PC 上最佳化及部署大型生成式AI模型。這些技術與 NVIDIA 的全端 RTX AI 創新技術共同加速運行超過 500 PC 應用程式和遊戲,以及逾 200 OEM 筆記型電腦設計。 

此外,華碩(ASUS)與微星(MSI)最新發布的 RTX AI PC 筆記型電腦最高將搭載 GeForce RTX 4070 GPU ,和具有 Windows 11 AI PC 功能的節能系統單晶片。這些Windows 11 AI PC將在Copilot+ PC體驗推出時獲得免費更新。 

NVIDIA 消費者AI部門副總裁 Jason Paul 表示:「NVIDIA 2018 年發布了 RTX Tensor 核心 GPU DLSS 技術,開啟了 AI PC 時代。如今藉由 Project G-Assist NVIDIA ACE,NVIDIA將為超過一億名 RTX AI PC 用戶開啟新一代AI體驗。」 

GeForce AI助理 Project G-Assist 

AI助理將改變人們在玩遊戲及使用應用程式時的體驗從提供遊戲策略和分析多人遊戲重播,至即時協助處理複雜的創意工作流程。Project G-Assist 讓人們能夠一窺未來的發展走向。 

PC 遊戲提供浩瀚的宇宙和複雜的機制供玩家探索和掌握即使是最投入的玩家,也需要花費大量的時間和精力來完成挑戰Project G-Assist 旨在利用生成式 AI,讓玩家們嫺熟掌握各種遊戲知識。 

Project G-Assist會接收玩家透過語音或文字輸入的內容,以及遊戲畫面裡的語境脈絡資訊,並透過 AI 視覺模型運行這些資料。這將模型可增強語境脈絡感知同時強化與某個遊戲知識資料庫連結的大型語言模型(LLM)針對特定應用程式的理解能力,接著生成出以文字或語音形式為玩家們專門打造的相關回應內容。 

NVIDIA Studio Wildcard 合作在《方舟:生存升級 (ARK: Survival Ascended) 》這款遊戲裡展示這項技術。Project G-Assist 可以幫助回答有關生物、物品、傳說、目標、大魔王等方面的問題。由於 Project G-Assist 能感知語境脈絡,可以根據玩家的遊戲過程提供個人專屬的回答。 

此外,Project G-Assist 還能配置玩家的遊戲系統,以達到最佳效能和效率。它可以深入瞭解各項效能指標,根據使用者的硬體調整出最佳的圖形設定安全地進行超頻,甚至在保持效能目標的同時智慧降低耗電量。 

首款用於 ACE  PC NIM 首度亮相 

NVIDIA 用於支援數位人的 ACE 技術,現在將透過預先建構好的推論微服務容器 NVIDIA NIM 用於 RTX AI PC 和工作站,讓開發者能夠將部署時間從原本的數週縮短到幾分鐘。NVIDIA NIM 可在裝置本機端運行高品質的推論,用於理解自然語言、語音合成、臉部動畫等。 

在今年的 COMPUTEX 大會上,NVIDIA Inworld AI 合作開發的 Covert Protocol 技術展示內容,將會是把 NVIDIA ACE NIM 用於 PC 遊戲的首秀展示在裝置本機端運行的 NVIDIA Audio2Face NVIDIA Riva 自動語音辨識技術。 

Windows Copilot Runtime  將為本地端PC小語言模型加入 GPU 加速功能

微軟與 NVIDIA 合作幫助開發者將新的生成式AI功能用在他們的 Windows 原生和網路應用程式裡。雙方的合作將為應用程式開發者提供方便使用的應用程式介面(API),讓他們能夠取得由GPU 加速的小型語言模型(SLM),並啟用由Windows Copilot Runtime 支援,可在終端裝置(on-device)上運行的檢索增強生成(RAG)功能 

SLM Windows 開發者提供了巨大的可能性,包括內容摘要、內容生成和任務自動化。RAG 功能可讓AI模型取得基礎模型中未充分展現的特定領域資訊,進而增強 SLM。開發者可以透過 RAG API 利用專門用於應用程式的資料來源,根據應用程式需求調整 SLM 的行為和功能。 

NVIDIA RTX GPU 及其他硬體廠商的 AI 加速器將加速執行這些 AI 功能,橫跨廣大的Windows 生態系統,為終端使用者提供快速又靈敏的 AI 使用體驗。 

這款 API 的開發者預覽版將於今年稍晚推出。  

借助 RTX AI 工具套件,模型速度提高四倍,體積縮小三倍 

AI生態系統已經建立出成千上萬個高品質的開源模型供應用程式開發者使用,但大多數模型都是為通用目的而預先訓練,且是為在資料中心運行而建構的。 

為了幫助開發者建立可在 PC 上運行,且專門用於特定應用程式的 AI 模型,NVIDIA 推出 RTX AI 工具套件一種端到端的工作流程,用於在 RTX AI PC 上進行自訂、最佳化及部署模型。RTX AI 工具套件將於六月提供給更多開發者使用 

開發者可以使用開源的 QLoRa 工具自訂預先訓練好的模型,並使用 NVIDIA TensorRT 模型最佳化工具來量化模型,此舉可將 RAM 消耗量減少多達三倍。NVIDIA TensorRT Cloud 接著會將模型調整至最佳狀態,以便徹底發揮 RTX GPU 系列的最佳效能。與預先訓練好的模型相比,效能可提高達四倍。 

全新的NVIDIA AI 推論管理員軟體開發套件(SDK)現已推出搶先體驗版本,簡化在PC上部署ACE的複雜性。它為 PC 預先配置必要的 AI 模型、引擎和依賴關係,並可在 PC 與雲端環境之間完美協調 AI 推論作業 

Adobe、Blackmagic Design Topaz 等軟體合作夥伴已將 RTX AI 工具套件的元件加入其熱門的創意應用程式,以加速 RTX PC 上的 AI 運行效能。 

Adobe 創意雲端產品行銷部門副總裁 Deepa Subramaniam 表示:「Adobe NVIDIA 持續合作,為視訊影像、設計、3D 等所有創意工作流程提供突破性的客戶體驗。RTX PC 上的 TensorRT 10.0 為創作者、設計師和開發者提供了前所未有的效能表現及 AI 支援的功能,讓他們能在使用 Photoshop 等引領業界的創意工具來創作內容時得以開啟嶄新的創意可能性。」  

TensorRT-LLM RTX AI 工具套的元件已與熱門的生成式 AI 開發框架及應用程式進行整合,包括 Automatic1111、ComfyUI、Jan.AI、Langchain、LlamaIndex、Oobabooga Sanctum.AI。 

AI用於內容創作 

NVIDIA 還將 RTX AI 加速技術加入創作者、模組製作者和影音愛好者所使用的應用程式。 

NVIDIA 在去年為Automatic1111(最受歡迎的 Stable Diffusion 使用者介面之一)引入了使用 TensorRT RTX 加速技術。從本週開始,RTX 還將加速運行大受用戶歡迎的 ComfyUI,與目前已推出的版本相比,效能可提高達60%,與 MacBook Pro M3 Max 相比,效能提高了七倍。 

供模組製作者使用的 NVIDIA RTX Remix 平台可利用全光線追蹤技術、NVIDIA DLSS 3.5 和精準符合物理原則的材質,重製經典的 DirectX 8 DirectX 9 遊戲。RTX Remix 包括一個 Runtime 渲染器和 RTX Remix 工具套件應用程式,使用這個應用程式可以方便修改遊戲資產和材質。 

NVIDIA 在去年對 RTX Remix Runtime 進行開源,允許模組製作者擴大遊戲相容性與提高渲染能力。 

RTX Remix 工具套件於今年初推出以來,已有兩萬名模組製作者使用它來製作經典遊戲的模組,在 RTX Remix Showcase Discord 上有超過 130 款使用這款工具套件開發的 RTX 重製版遊戲。 

NVIDIA 將在這個月對 RTX Remix 工具套件進行開源,讓模組製作者能夠簡化資產替換和重新製作場景光線效果的方式,增加 RTX Remix 資產擷取器支援的檔案格式,並透過新模型增強 RTX Remix AI 紋理工具。 

此外,NVIDIA 將讓使用者可以透過 REST API 取得 RTX Remix 工具套件的功能,讓模組製作者能夠即時連結 RTX Remix Blender 等數位內容創作工具、Hammer 等模組製作工具,以及 ComfyUI 等生成式AI應用程式。另外,NVIDIA 將提供 RTX Remix Runtime SDK,讓模組製作者可以將 RTX Remix 的渲染器部署到 DirectX 8 9 經典遊戲之外的其他應用程式和遊戲裡。 

在開放更多 RTX Remix 平台原始程式碼的情況下,全球各地的模組製作者便能製作出更多令人驚嘆的 RTX 重製版遊戲。 

Google Chrome、Microsoft Edge Mozilla Firefox 瀏覽器皆支援 NVIDIA RTX Video 這項熱門的AI超解析度(super-resolution)功能,現在已作為 SDK 提供給所有開發者使用,幫助他們以原生方式整合AI技術,進行影像升頻、銳化、壓縮失真減少和高動態範圍(HDR)轉換。 

RTX Video 即將加入影片剪輯軟體 Blackmagic Design DaVinci Resolve Wondershare Filmora,它將使影片剪輯人員能夠將低畫質的影片檔案升頻至 4K 解析度,並且將標準動態範圍的原始檔案轉換成 HDR 檔案。此外,免費媒體播放程式 VLC media 將很快在其現有的超解析度功能中加入支援 RTX Video HDR。 

如欲瞭解更多有關 RTX AI PC的資訊,歡迎NVIDIA一同參與於 6 4 日至 6 7 日舉行的 COMPUTEX 

 

關於 NVIDIA (輝達)

NVIDIA(輝達)為加速運算領域的先驅。

本新聞稿根據目前預期所做出的前瞻性聲明,包含但不限於:NVIDIA的產品、服務和技術(包括NVIDIA RTX、GeForce RTX AI筆記型電腦、Project G-Assist、NVIDIA NIM推論微服務、NVIDIA ACE數位人平台、NVIDIA RTX AI工具套件、GeForce RTX 4070 GPU、RTX Tensor核心GPU、DLSS、NVIDIA Audio2Face、NVIDIA NVIDIA Riva、 NVIDIA TensorRT、NVIDIA AI Inference Manager、NVIDIA RTX Remix、NVIDIA DLSS 3.5、RTX Remix Runtime、 NVIDIA RTX Video等)的效益、影響、性能和可獲得性;NVIDIA與第三方協力廠商的合作所能帶來的效益與影響,其提供之服務與供貨的特色與可獲得性;第三方協力廠商使用或採用NVIDIA產品或技術,及其所能帶來之效益;RAG API使開發者能夠利用特定於應用程式的資料來源,並根據應用之需求調整SLM行為與功能;NVIDIA將為超過一億名 RTX AI PC 用戶開啟新一代AI體驗等。這些前瞻性聲明包含可能導致實質結果與預期不符之風險與不確定因素。多項重要因素可能導致實際結果與前瞻性聲明所示之結果出現重大差異,所及範圍有全球經濟情況;NVIDIA的產品借重第三方協力廠商之製造、組合、封裝和測試;技術發展和市場競爭之影響;發展新產品與技術或強化現有的產品及技術;NVIDIA或合作廠商的產品的市場接受度;設計、製造或軟體缺陷;消費者偏好或需求之改變;業界標準和介面之改變;整合到系統後無法預期的NVIDIA產品或效能降低之技術缺失,以及NVIDIA定期提交給美國證券交易委員會(SEC)報告中的其他詳細因素,包含但不限於Form10-K的年度報告和Form10-Q的季度報告。NVIDIA 在公司官方網站上免費提供定期提交給SEC的報告之副本。這些前瞻性聲明不保證未來的效能,只陳述目前的狀態。除非法律規定,否則NVIDIA沒有意願或義務因為新資訊、未來事件或其他理由而更新或修改任何前瞻性聲明。

本文所述的許多產品和功能仍處於不同階段,將在可用時提供。 上述聲明無意也不應被解釋為承諾、諾言或法律義務,我們產品描述的任何特性或功能的開發、發布和時間安排可能會發生變化,並保留NVIDIA 的自由裁量權。 NVIDIA 對於未能交付或延遲交付本文所述的任何產品、特性或功能不承擔任何責任。

©本文為NVIDIA 公司 2024版權所有,並保留所有權利。NVIDIA、NVIDIA 標誌、Audio2Face、GeForce RTX、NVIDIA NIM、NVIDIA RTX與TensorRT是NVIDIA 公司在美國及其他地區的商標及(或)註冊商標。所有其他公司及產品名稱乃為所屬個別公司之商標。功能、訂價、出貨時程和規格之變更不會另行通知。