印度企業使用 NVIDIA AI 打造的大型語言模型服務超過十億名不同語言使用者

作者 Vishal Dhupar

「Namaste」、「vanakkam」、「sat sri akaal」,這還只是印度當地使用的三種問候方式,而印度有 22 種憲法認可的語言,根據印度人口普查的紀錄,還有超過 1,500 種語言。大約 10% 的居民會說英語,這是網路上最常使用的語言。

印度是世界上人口最多的國家,隨著印度快速推動國家走向數位化,當地企業與新創公司正在合力開發多語言的 AI 模型,讓更多印度人能使用他們的主要語言來與科技互動。這是主權 AI 的案例研究項目 – 使用當地資料集來開發國內的 AI 基礎設施,並反映出一個地區的特定方言、文化與實務。

這些專案正在建立印度當地語言和英語的語言模型,可為企業提供客服 AI 代理(AI agent),快速翻譯內容,好讓更多人可以取得資訊,並讓這些服務更容易接觸到超過 14 億的多元人口。

為了支援類似這樣的計畫,NVIDIA 為印地語(Hindi)推出小型語言模型,印地語是印度最普遍的語言,擁有超過五億的使用者。這個稱為 Nemotron-4-Mini-Hindi-4B 的模型,目前以 NVIDIA NIM 微服務的形式提供,可輕鬆部署在任何 NVIDIA GPU 加速系統上,以獲得最佳化的效能。

印度 IT 服務與諮詢公司 Tech Mahindra 是第一家使用 Nemotron Hindi NIM 微服務來開發 AI 模型 Indus 2.0 的公司,該模型專注於印地語及印度當地數十種方言。Indus 2.0 利用 Tech Mahindra 高品質的微調資料,進一步提高模型的精確度,為銀行、教育、醫療保健等產業的客戶提供符合本地需求服務的機會。

Tech Mahindra 將於 10 月 23 日至 25 日於孟買舉行的 NVIDIA AI 高峰會展示 Indus 2.0。Tech Mahindra 也使用 NVIDIA NeMo 開發其主權大型語言模型(LLM)平台 TeNo。

NVIDIA NIM 讓印地語的 AI 應用,就像數 123 一樣簡單

Nemotron Hindi 模型是由 Nemotron-4 15B 衍伸出,有著 40 億個參數,Nemotron-4 15B 是 NVIDIA 所開發出擁有 150 億個參數的多語言語言模型。該模型使用用於開發生成式 AI 的端對端、雲端原生框架和微服務套件 NVIDIA NeMo,結合真實世界的印地語資料、合成印地語資料和等量的英語資料,對這個模型進行修正、濃縮和訓練。

這個語言資料集使用 NVIDIA NeMo Curator 建立,NVIDIA NeMo Curator 能夠針對訓練和客製化用途,大規模處理高品質的多模態資料,以提升生成式 AI 模型的準確度。NeMo Curator 使用 NVIDIA RAPIDS 函式庫加速多節點 GPU 系統上的資料處理管道,降低處理時間與總體擁有成本。它也提供預先建立好用於合成資料生成、資料篩選、分類與重複資料刪除的管道與建置區塊,以處理高品質的資料。

在使用 NeMo 進行微調後,最終模型在多項準確性基準測試中領先擁有 80 億個參數的模型。這個模型打包成 NIM 微服務,可以輕鬆用於支援各產業的使用案例,如教育、零售和醫療保健。

它可以當成 NVIDIA AI Enterprise 軟體平台的一部分,讓企業能夠使用更多資源,包括技術支援和企業級安全性,以輕鬆針對生產環境開發 AI。

多家企業為多語言的使用人口提供服務

印度各地的創新者、大型企業與全球系統整合商均使用 NVIDIA NeMo 建立客製化的語言模型。

參與 NVIDIA Inception 計畫的頂尖新創公司正在使用 NeMo 為印度當地的多種語言開發 AI 模型。

Sarvam AI 為企業客戶提供語音轉文字、文字轉語音、翻譯和資料解析模型。該公司開發出的 Sarvam 1 是印度第一個本土開發的多語言大型語言模型,使用印度國內由 NVIDIA H100 Tensor 核心 GPU 驅動的 AI 基礎設施從頭開始訓練。

採用包括 NeMo Curator 與 NeMo Framework 在內的 NVIDIA AI Enterprise 軟體所開發出的 Sarvam 1,支援英語與十種印度當地主要使用的語言,包括孟加拉語、馬拉地語、泰米爾語與泰盧固語。

Sarvam AI 還使用 NVIDIA NIM 微服務、用於對話式 AI 的 NVIDIA RivaNVIDIA TensorRT-LLM 軟體以及 NVIDIA Triton 推論伺服器,來最佳化和部署具有亞秒級延遲的對話式 AI 代理。

另一家參與 Inception 計畫的新創公司 Gnani.ai 則是建立多語言語音轉語音的大型語言模型來強化 AI 客服助理,每天為印度和美國 150 多家銀行、保險和金融服務公司處理約一千萬次即時語音互動。該模型支援 14 種語言,並且使用 NVIDIA Hopper GPU 和 NeMo Framework 在超過 1,400 萬個小時的對話語音資料上進行訓練。

Gnani.ai 使用 TensorRT-LLM、Triton 推論伺服器及 Riva NIM 微服務,以最佳化用於虛擬客服助理和語音分析的 AI。

使用 NeMo 建立大型語言模型的大型企業包含:

  • Flipkart 是由 Walmart 擁有多數股權的印度大型電商公司,該公司整合NeMo Guardrails以加強其對話式 AI系統的安全性。Nemo Guardrails 是一個開源工具包,能夠讓開發人員在大型語言模型中加入可使用程式控制的防護裝置。
  • 擁有印度最頂級網路叫車平台之一的 Ola 集團,旗下的 Krutrim 正在使用由 Mistral AI 與 NVIDIA 共同開發的最先進大型語言模型 Mistral NeMo 12B,針對印度的多種語言開發基礎模型。
  • 位於清奈(Chennai)的全球科技公司 Zoho Corporation 將使用 NVIDIA TensorRT-LLM 與 NVIDIA Triton 推論伺服器來為其超過 70 萬名客戶最佳化及提供語言模型。該公司將使用在 NVIDIA Hopper GPU 上運行的 NeMo,為百餘個商業應用從頭開始預先訓練狹義、小型、中型與大型模型。

印度頂尖的全球系統整合商也為其客戶提供 NVIDIA NeMo 加速解決方案。

  • Infosys 將使用 NVIDIA AI 堆疊開發特定的工具和解決方案。該公司的AI 卓越中心(AI Center of Excellence)也正在開發 AI 驅動的小型語言模型,並將以服務的形式提供給客戶。
  • 塔塔顧問服務公司(Tata Consultancy Services,TCS)已為電信、零售、製造、汽車和金融服務產業開發以 NVIDIA NIM Agent Blueprints 為基礎的 AI 解決方案。塔塔顧問服務公司的產品包括由 NeMo 支援的特定領域語言模型,可針對 IT、人力資源或現場作業等所有企業功能進行客製化,以處理客戶查詢作業,還有回答員工針對公司所提出的問題。
  • Wipro 正在使用包括 NIM Agent Blueprints 和 NeMo 在內的 NVIDIA AI Enterprise 軟體,以協助企業輕鬆開發量身打造的對話式 AI 解決方案,例如支援客戶服務互動的數位人。

Wipro 與塔塔顧問服務公司也使用 NeMo Curator 的合成資料產生管道,以產生英語以外語言的資料,為客戶客製化大型語言模型。

如欲深入瞭解 NVIDIA 與印度企業和開發人員的合作,請觀賞 NVIDIA 創辦人暨執行長黃仁勳在NVIDIA AI 高峰會的爐邊對談重播。