編者按：此篇文章屬於「解碼 AI 」系列，該系列文章會以簡單易懂的方式解碼 AI，同時展示適用於 RTX PC 和工作站使用者的全新硬體、軟體、工具和加速功能。
數位角色正在蛻變。
在電玩遊戲的故事情節中，NPC 通常扮演著非常重要的角色，但由於這些角色一般採用通用設計，因此顯得一成不變，在擁有成千上萬個遊戲角色的廣大世界中尤為明顯。
多虧光線追蹤和 DLSS 等視覺運算技術的驚人發展，電玩遊戲比以往更加令人身歷其境，讓玩家與 NPC 的交流不再枯燥乏味。
今年稍早發布了適用於 NVIDIA Avatar Cloud Engine 的生產微服務，讓遊戲開發者和數位創作者在製作栩栩如生的 NPC 時，擁有了技壓群雄的祕密武器。ACE 微服務讓開發者能夠將最先進的生成式 AI模型整合至遊戲和應用程式中的數位虛擬化身。有了 ACE 微服務，NPC 可以在遊戲中與玩家進行即時動態互動和交談。
頂尖的遊戲開發商、工作室和新創公司已將 ACE 整合至他們的遊戲中，讓 NPC 和數位人擁有全新境界的人格特質和互動能力。
NVIDIA ACE 讓虛擬化身栩栩如生
創造 NPC 的第一步是提供背景故事和角色使命，以便引導敘事風格，並確保對話內容符合情境。接著，ACE 子元件會合力運作，建立虛擬角色的互動性並提升反應能力。
NPC 最多可運用四個 AI模型來聆聽、處理、產生對話和回應。
玩家的聲音首先會經由 NVIDIA Riva 技術處理，這項技術可使用 GPU 加速的多語言語音和翻譯微服務，打造完全可自訂的即時對話式 AI流程，並使聊天機器人化身成具備高度互動性和表達能力的助理。
透過 ACE 技術，Riva 的自動語音辨識 (ASR) 功能可處理語音內容，並使用 AI即時提供準確性極高的轉錄。敬請探索採用 Riva 技術的語音轉文字技術展示，現已支援數十種語言。
隨後轉錄後的文字會進入 LLM，例如 Google 的 Gemma、Meta 的 Llama 2 或 Mistral，並利用 Riva 的神經機器翻譯產生自然的語言文字回應。接著，Riva 的文字轉語音功能便會產生語音回應。
最後，NVIDIA Audio2Face (A2F) 會產生可與多種語言對話同步的臉部表情。透過微服務，數位虛擬化身能在直播或後製處理中表現出生動逼真的情緒。
AI網路會自動製作臉部、眼睛、嘴部、舌頭和頭部動作的動畫，以配合選定的情緒範圍和強度等級。A2F 可以直接從音訊片段自動推論情緒。
每個步驟皆為即時進行，以確保玩家和角色之間的對話流暢性。這些工具也提供自訂選項，讓開發者能夠視需求靈活打造不同類型的角色，從而建構出沉浸感十足的敘事風格和世界觀。
為推陳出新而生
在 GDC 和 GTC 中，開發商和平台合作夥伴展現如何運用 NVIDIA ACE 微服務，範圍涵蓋遊戲中的互動式 NPC 到強大的數位人護理師。
Ubisoft 正在探索採用動態 NPC 的新型互動式遊戲。NEO NPC 是其最新研發專案的成果，專為與玩家、玩家所處環境和其他角色即時互動而設計，為動態且新興的敘事方式開創全新的可能性。
這些 NEO NPC 的功能已透過技術展示來呈現，每個技術展示皆各自著重於不同層面的 NPC 行為，包括環境和情境感知、即時反應和動畫、對話記憶、合作和策略性決策。技術展示集中呈現了這項技術的潛力，打破了遊戲設計和臨場感的過往侷限。
Ubisoft 的敘事團隊運用 Inworld AI技術，創造了兩個 NEO NPC 角色：Bloom 和 Iron，每個角色都有自己的背景故事、知識庫和獨特的對話風格。Inworld 技術也為 NEO NPC 提供周遭環境的固有知識，以及 Inworld LLM 支援的互動式回應。NVIDIA A2F 為兩個 NPC 即時提供臉部動畫和嘴型動作同步技術。
Inworld 和 NVIDIA 透過全新的展示內容《Convert Protocol》，展現了 NVIDIA ACE 技術和 Inworld Engine，在 GDC 上掀起熱潮。在展示內容中，玩家可以控制一名私家偵探，並根據與場景中 NPC 的對話結果完成目標。《Convert Protocol》運用 AI的數位角色解鎖社群模擬遊戲機制，這些角色承載著重要資訊、提出挑戰，並推動關鍵劇情的發展。藉由AI驅動全面升級的互動性和玩家可玩性，將為以玩家為核心的新興遊戲玩法開闢全新可能性。
以 Unreal Engine 5 打造的《Convert Protocol》使用 Inworld Engine 和 NVIDIA ACE (包括 NVIDIA Riva ASR 和 A2F) 來加強 Inworld 的語音和動畫流程。
在 CES 上公布我們與 Convai 合作打造的最新版本 NVIDIA Kairos 技術展示，其中使用的 Riva ASR 和 A2F 大幅改善了 NPC 互動性。Convai 的新框架讓 NPC 可以彼此交談，賦予他們拾取物品並運送到指定區域的能力。此外，NPC 也能帶領玩家前往目的地和穿梭於世界之中。
真實世界中的數位角色
創造 NPC 的技術也可用於製作虛擬化身和數位人的動畫。除了遊戲以外，專用生成式 AI也開始進入醫療照護、客戶服務等領域。
NVIDIA 在 GTC 上發表與 Hippocratic AI 合作擴展醫療保健代理的解決方案，展示生成式 AI應用於醫療保健代理虛擬化身的潛力。我們仍持續開發超低延遲的推論平台，以支援即時使用案例。
Hippocratic AI 共同創辦人兼執行長 Munjal Shah 表示：「我們的數位助理為世界各地的患者提供實用、及時且準確的資訊。NVIDIA ACE 技術賦予他們生動的尖端視覺效果和逼真的動畫，藉此拉近與病患之間的距離。」
Hippocratic 最初的 AI醫療保健代理進行內部測試時，著重於慢性病照護管理、健康指導、健康風險評估、健康社會決定因素調查、術前訪視和出院後追蹤。
UneeQ 是自主數位人平台，著重於為客戶服務和互動式應用程式提供 AI驅動的虛擬化身。UneeQ 將 NVIDIA A2F 微服務整合至其平台，並與 Synanim ML 合成動畫技術結合，創造出非常逼真的虛擬化身，進而提升客戶體驗和互動能力。
UneeQ 創辦人兼執行長 Danny Tomsett 表示：「UneeQ 將 NVIDIA 動畫 AI與我們的 Synanim 機器學習合成動畫技術結合，提供即時數位人互動，不僅能對情緒做出反應，還能提供對話式 AI支援的動態體驗。」
遊戲領域的 AI應用
ACE 是一項將遊戲提升至全新境界的 NVIDIA AI技術。
- NVIDIA DLSS 是一項突破性的繪圖技術，運用 AI在 GeForce RTX GPU 上提升畫格率並增強影像畫質。
- NVIDIA RTX Remix 讓模改玩家可以輕鬆擷取遊戲素材、使用生成式 AI 工具自動強化材質，並透過完整的光線追蹤技術和 DLSS 快速建立精美的 RTX 重製內容。
- NVIDIA Freestyle 透過全新的 NVIDIA app 測試版，讓使用者使用即時後製濾鏡，以及 RTX HDR、RTX Dynamic Vibrance 等功能，針對 1,200 多款遊戲自訂視覺美術效果。
- NVIDIA Broadcast 應用程式讓任何空間皆能化身居家工作室，為直播提供經過 AI強化的語音和視訊工具，包括雜音和回音消除、虛擬背景和 AI綠幕、自動取景、視訊雜音消除和眼神交流等功能。
透過 NVIDIA RTX 的 PC 和工作站，體驗最新、最棒的 AI，並透過「解碼 AI」瞭解最新消息和未來發展。
訂閱「解碼 AI」電子報，即可直接在收件匣取得每週新訊。